Built site for gh-pages

.nojekyll

@@ -1 +1 @@
-9a2a8974
+e5e4c443

chapters/chapter3/3-guide_usage_GB.html

@@ -293,7 +293,7 @@ <h2 data-number="1.1" class="anchored" data-anchor-id="sec-implementation-gb"><s
 </section>
 <section id="sec-hyperparam-gb" class="level2" data-number="1.2">
 <h2 data-number="1.2" class="anchored" data-anchor-id="sec-hyperparam-gb"><span class="header-section-number">1.2</span> Les hyperparamètres clés du <em>gradient boosting</em></h2>
-<p>Cette section décrit en détail les principaux hyperparamètres des algorithmes de <em>gradient boosting</em> listés dans le tableau <a href="#tbl-hyp-lightgbm" class="quarto-xref">1</a>. Les noms des hyperparamètres sont ceux utilisés dans <code>LightGBM</code>. Les hyperparamètres portent généralement le même nom dans les autres implémentations; si ce n’est pas le cas, il est facile de s’y retrouver en lisant attentivement la documentation. Il est à noter que, dans cette liste d’hyperparamètres, seuls le nombre d’arbres et le taux d’apprentissage concernent l’algorithme de <em>boosting</em> au sens strict; tous les autres hyperparamètres portent sur la construction des arbres pris isolément.</p>
+<p>Cette section décrit en détail les principaux hyperparamètres des algorithmes de <em>gradient boosting</em> listés dans le tableau <a href="#tbl-hyp-lightgbm" class="quarto-xref">1</a>. Les noms des hyperparamètres sont ceux utilisés dans <code>LightGBM</code>. Les hyperparamètres portent généralement le même nom dans les autres implémentations; si ce n’est pas le cas, il est facile de s’y retrouver en lisant attentivement la documentation.</p>
 <div id="tbl-hyp-lightgbm" class="quarto-float quarto-figure quarto-figure-center anchored" data-tbl-colwidths="[25,60,15]">
 <figure class="quarto-float quarto-float-tbl figure">
 <figcaption class="quarto-float-caption-top quarto-float-caption quarto-float-tbl" id="tbl-hyp-lightgbm-caption-0ceaefa1-69ba-4598-a22c-09a6ac19f8ca">
@@ -435,13 +435,10 @@ <h2 data-number="1.2" class="anchored" data-anchor-id="sec-hyperparam-gb"><span
 </div>
 <p>Voici une présentation des principaux hyperparamètres et de leurs effets sur les performances sur le modèle de <em>gradient boosting</em>:</p>
 <ul>
-<li>L’hyperparamètre <code>objective</code> définit à la fois la <strong>nature du problème</strong> modélisé (régression, classification…) et la <strong>fonction de perte</strong> utilisée lors de l’entraînement du modèle.</li>
-</ul>
-<p>ifférente selon les cas, regression_l2 en cas de régression, binary_log_loss pour la classification binaire, LIEN PARTIE AVANCE.</p>
-<ul>
-<li><p>La <strong>complexité du modèle global</strong>:</p>
+<li><p>La <strong>mécanique du <em>gradient boosting</em></strong> est contrôlée par seulement trois hyperparamètres (tous les autres hyperparamètres portant sur la construction des arbres pris isolément):</p>
 <ul>
-<li><p>le <strong>nombre d’arbres</strong> est l’hyperparamètre qui contrôle la complexité générale de l’algorithme. Le point essentiel est que, contrairement aux forêts aléatoires, la performance du <em>gradient boosting</em> sur les données d’entraînement croît continûment avec le nombre d’arbres sans jamais se stabiliser. Le choix du nombre d’arbres est essentiel, et doit viser un équilibre entre augmentation du pouvoir prédictif du modèle (si les arbres supplémentaires permettent au modèle de corriger les erreurs résiduelles), et lutte contre le surajustement (si les arbres supplémentaires captent uniquement les bruits statistiques et les fluctuations spécifiques des données d’entraînement). Par ailleurs, Le choix du nombre d’arbres est très lié à celui du taux d’apprentissage, et il est nécessaire de les optimiser conjointement.</p></li>
+<li><p>L’hyperparamètre <code>objective</code> définit à la fois la <strong>nature du problème</strong> modélisé (régression, classification…) et la <strong>fonction de perte</strong> utilisée lors de l’entraînement du modèle. Valeur par défaut différente selon les cas, regression_l2 en cas de régression, binary_log_loss pour la classification binaire, LIEN PARTIE AVANCE. A COMPLETER.</p></li>
+<li><p>le <strong>nombre d’arbres</strong> contrôle la complexité générale de l’algorithme. Le point essentiel est que, contrairement aux forêts aléatoires, la performance du <em>gradient boosting</em> sur les données d’entraînement croît continûment avec le nombre d’arbres sans jamais se stabiliser. Le choix du nombre d’arbres est essentiel, et doit viser un équilibre entre augmentation du pouvoir prédictif du modèle (si les arbres supplémentaires permettent au modèle de corriger les erreurs résiduelles), et lutte contre le surajustement (si les arbres supplémentaires captent uniquement les bruits statistiques et les fluctuations spécifiques des données d’entraînement). Par ailleurs, Le choix du nombre d’arbres est très lié à celui du taux d’apprentissage, et il est nécessaire de les optimiser conjointement.</p></li>
 <li><p>le <strong>taux d’apprentissage</strong> (<em>learning rate</em>) contrôle l’influence de chaque arbre sur le modèle global; il s’agit de <span class="math inline">\(\eta\)</span> dans l’équation REFERENCE PARTIE OVERFITTING. Un taux d’apprentissage faible réduit la contribution de chaque arbre, rendant l’apprentissage plus progressif; cela évite qu’un arbre donné ait une influence trop importante sur le modèle global et contribue donc à réduire le surajustement, mais cela nécessite un plus grand nombre d’arbres pour converger vers une solution optimale. Inversement, un taux d’apprentissage élevé accélère l’entraînement mais peut rendre le modèle instable (car trop sensible à un arbre donné), entraîner un surajustement et/ou aboutir à un modèle sous-optimal. La règle générale est de privilégier un taux d’apprentissage faible (entre 0.01 ou 0.3). Le choix du taux d’apprentissage est très lié à celui du nombre d’arbres: plus le taux d’apprentissage sera faible, plus le nombre d’arbres nécessaires pour converger vers une solution optimale sera élevé. Ces deux hyperparamètres doivent donc être optimisés conjointement.</p></li>
 </ul></li>
 <li><p>La <strong>complexité des arbres</strong>: la profondeur maximale des arbres, le nombre de feuilles terminales et le nombre minimal d’observations par feuille terminale contrôlent la complexité des <em>weak learners</em>: une profondeur élevée, un grand nombre de feuilles et un faible nombre d’observations par feuille terminale aboutissent à des arbres complexes au pouvoir prédictif plus élevé, mais induisent un risque de surajustement. Par ailleurs, de tels arbres sont plus longs à entraîner que des arbres peu profonds avec un nombre limité de feuilles.</p></li>