Le pr\u00e9sent article se propose d’explorer de mani\u00e8re exhaustive, rigoureuse et didactique les fondements math\u00e9matiques, les intuitions m\u00e9caniques et les raffinements algorithmiques qui sous-tendent le boosting. En partant des contraintes inh\u00e9rentes aux mod\u00e8les pr\u00e9dictifs traditionnels jusqu’aux impl\u00e9mentations modernes \u00e0 tr\u00e8s haute performance comme XGBoost, LightGBM et CatBoost, nous d\u00e9construirons chaque \u00e9tape de ce voyage algorithmique. L’objectif n’est pas seulement de fournir un catalogue de recettes techniques, mais bien d’enraciner la compr\u00e9hension du lecteur dans les principes premiers de l’optimisation fonctionnelle, de la d\u00e9composition des erreurs et du compromis biais-variance, offrant ainsi une grille de lecture p\u00e9renne pour la mod\u00e9lisation statistique avanc\u00e9e.<\/p>\n L’histoire de l’apprentissage statistique supervis\u00e9 s’est longtemps articul\u00e9e autour du perfectionnement d’architectures pr\u00e9dictives isol\u00e9es. Qu’il s’agisse de la r\u00e9gression lin\u00e9aire classique formul\u00e9e par Legendre et Gauss, de la r\u00e9gression logistique d\u00e9velopp\u00e9e pour la mod\u00e9lisation des probabilit\u00e9s d’\u00e9v\u00e9nements binaires, ou encore des arbres de d\u00e9cision cart\u00e9siens formalis\u00e9s par Breiman, ces approches reposent sur l’hypoth\u00e8se qu’une fonction de param\u00e9trage explicite ou qu’un d\u00e9coupage spatial rigide peut appr\u00e9hender fid\u00e8lement la distribution sous-jacente des donn\u00e9es. Or, cette confiance accord\u00e9e \u00e0 un estimateur monolithique r\u00e9v\u00e8le rapidement ses faiblesses d\u00e8s lors que l’on est confront\u00e9 \u00e0 des espaces dimensionnels \u00e9lev\u00e9s ou \u00e0 des vari\u00e9t\u00e9s non lin\u00e9aires complexes.<\/p>\n Les mod\u00e8les lin\u00e9aires, par exemple, p\u00e8chent par une rigidit\u00e9 structurelle ind\u00e9passable : leur capacit\u00e9 de repr\u00e9sentation est strictement born\u00e9e par l’hyperplan qui mat\u00e9rialise leur fronti\u00e8re de d\u00e9cision. Face \u00e0 des interactions multiplicatives d’ordre sup\u00e9rieur ou \u00e0 des d\u00e9pendances g\u00e9om\u00e9triques circulaires et fragment\u00e9es, ils pr\u00e9sentent un biais empirique incompressible. \u00c0 l’inverse, des mod\u00e8les hautement flexibles tels que les arbres de d\u00e9cision profonds sans contrainte de taille peuvent partitionner l’espace d’entr\u00e9e de mani\u00e8re arbitrairement fine. Ce pouvoir d’expression accru s’accompagne toutefois d’une vuln\u00e9rabilit\u00e9 pathologique \u00e0 la variance : le mod\u00e8le m\u00e9morise le bruit d’\u00e9chantillonnage, les fluctuations idiosyncratiques des donn\u00e9es d’entra\u00eenement, conduisant \u00e0 une divergence spectaculaire entre la performance empirique et la performance de g\u00e9n\u00e9ralisation.<\/p>\n Cette oscillation perp\u00e9tuelle entre la c\u00e9cit\u00e9 structurelle (sous-apprentissage) et la parano\u00efa stochastique (surajustement) met en lumi\u00e8re l’insuffisance des mod\u00e8les individuels pour r\u00e9soudre le dilemme fondamental de la th\u00e9orie de l’apprentissage. Aucun m\u00e9canisme intrins\u00e8que ne permet \u00e0 un estimateur rigide d’auto-corriger ses angles morts sans une d\u00e9stabilisation majeure de ses param\u00e8tres. La communaut\u00e9 scientifique a donc \u00e9t\u00e9 contrainte de repenser les fondations de l’inf\u00e9rence inductive : plut\u00f4t que de concevoir un mod\u00e8le parfait, pourquoi ne pas organiser une coop\u00e9ration strat\u00e9gique entre plusieurs mod\u00e8les imparfaits ?<\/p>\n L’acte de naissance conceptuel du boosting trouve ses racines dans le cadre fondamental de la th\u00e9orie de l’apprentissage probablement approximativement correct (PAC)<\/a>, introduit par Leslie Valiant en 1984. Ce cadre formalise math\u00e9matiquement les conditions sous lesquelles un algorithme peut, avec une probabilit\u00e9 arbitrairement \u00e9lev\u00e9e ($1 – \\delta$<\/span>), extraire une fonction pr\u00e9dictive dont l’erreur d’approximation est strictement inf\u00e9rieure \u00e0 un seuil donn\u00e9 ($epsilon$<\/span>), et ce en un temps polynomial par rapport \u00e0 la taille de l’\u00e9chantillon et au nombre de dimensions.<\/p>\n C’est dans cet environnement th\u00e9orique que Michael Kearns et Leslie Valiant ont formul\u00e9 en 1988 une question fondamentale : la classe des concepts apprenables de mani\u00e8re \u00ab\u00a0faible\u00a0\u00bb est-elle \u00e9quivalente \u00e0 celle des concepts apprenables de mani\u00e8re \u00ab\u00a0forte\u00a0\u00bb ? En d’autres termes, si l’on dispose d’un algorithme capable de g\u00e9n\u00e9rer un pr\u00e9dicteur dont l’exactitude n’est que marginalement sup\u00e9rieure \u00e0 celle d’un tirage \u00e0 pile ou face biais\u00e9 (un taux d’erreur strictement inf\u00e9rieur \u00e0 50 % pour une t\u00e2che binaire), est-il math\u00e9matiquement garanti que l’on puisse convertir ce pr\u00e9dicteur m\u00e9diocre en un algorithme \u00e0 haute pr\u00e9cision, capable d’atteindre n’importe quel seuil d’erreur arbitrairement petit ?<\/p>\n La r\u00e9ponse \u00e0 ce probl\u00e8me d’\u00e9quivalence a \u00e9t\u00e9 apport\u00e9e de mani\u00e8re constructive par Robert Schapire en 1990, qui a d\u00e9montr\u00e9 qu’un tel passage \u00e9tait th\u00e9oriquement possible via une proc\u00e9dure r\u00e9cursive d’agr\u00e9gation d’hypoth\u00e8ses faibles. Cette preuve originelle a ouvert la voie \u00e0 une transition conceptuelle majeure : l’apprentissage computationnel s’est d\u00e9plac\u00e9 de l’analyse purement asymptotique vers la construction concr\u00e8te d’algorithmes s\u00e9quentiels. Le boosting s’est alors d\u00e9fini non plus comme une simple sp\u00e9culation formelle, mais comme une machinerie d\u00e9terministe apte \u00e0 surmonter les fronti\u00e8res de l’erreur statistique par r\u00e9injection syst\u00e9matique de l’information r\u00e9siduelle.<\/p>\n Aborder le boosting n\u00e9cessite de d\u00e9passer les simplifications abusives qui le r\u00e9duisent souvent \u00e0 une simple bo\u00eete noire logicielle. Le premier objectif de cette introduction d\u00e9taill\u00e9e est de d\u00e9mystifier les fondements math\u00e9matiques qui r\u00e9gissent cette famille d’algorithmes, en substituant \u00e0 l’opacit\u00e9 des \u00e9quations une intuition g\u00e9om\u00e9trique et analytique limpide. Nous expliciterons la mani\u00e8re dont la th\u00e9orie des probabilit\u00e9s, l’optimisation convexe et le calcul diff\u00e9rentiel s’entrelacent pour cr\u00e9er une convergence pr\u00e9dictive stable.<\/p>\n Le deuxi\u00e8me objectif consiste \u00e0 tracer une cartographie structur\u00e9e des \u00e9volutions m\u00e9thodologiques du boosting. Depuis l’\u00e9l\u00e9gance pionni\u00e8re d’AdaBoost jusqu’aux raffinements d’ing\u00e9nierie logicielle et algorithmique contemporains incarn\u00e9s par XGBoost<\/a>, LightGBM et CatBoost, le lecteur d\u00e9couvrira comment une m\u00eame intuition fondamentale s’est adapt\u00e9e pour traiter des volumes massifs de donn\u00e9es h\u00e9t\u00e9rog\u00e8nes, des valeurs manquantes et des distributions asym\u00e9triques.<\/p>\n Enfin, cette d\u00e9marche se veut r\u00e9solument orient\u00e9e vers la pratique r\u00e9flexive. Il s’agit de sensibiliser les praticiens aux risques de surajustement, aux co\u00fbts computationnels inh\u00e9rents \u00e0 la nature s\u00e9quentielle du calcul et aux r\u00e8gles de l’art relatives au r\u00e9glage des hyperparam\u00e8tres. \u00c0 l’issue de cette lecture, les concepts de pseudo-r\u00e9sidus, de r\u00e9tr\u00e9cissement, d’\u00e9chantillonnage de gradient et d’importance des variables cesseront d’\u00eatre de simples termes techniques pour devenir les leviers conscients d’une mod\u00e9lisation rigoureuse.<\/p>\n En apprentissage automatique supervis\u00e9, une m\u00e9thode d’ensemble d\u00e9signe un m\u00e9ta-mod\u00e8le dont la d\u00e9cision finale proc\u00e8de de la combinaison d\u00e9lib\u00e9r\u00e9e de multiples pr\u00e9dicteurs individuels, appel\u00e9s estimateurs de base ou apprenants primaires. Cette d\u00e9marche s’inscrit dans la lign\u00e9e du th\u00e9or\u00e8me du jury de Condorcet en th\u00e9orie du choix social, stipulant que si chaque membre d’un groupe poss\u00e8de une probabilit\u00e9 de jugement correcte sup\u00e9rieure \u00e0 0,5, la probabilit\u00e9 que la d\u00e9cision majoritaire soit conforme \u00e0 la v\u00e9rit\u00e9 tend asymptotiquement vers l’unit\u00e9 \u00e0 mesure que la taille de l’assembl\u00e9e s’accro\u00eet, sous r\u00e9serve d’ind\u00e9pendance statistique des suffrages.<\/p>\n Dans l’univers algorithmique, la taxonomie des m\u00e9thodes d’ensemble s’articule autour de deux grands axes structurels : l’apprentissage parall\u00e8le et l’apprentissage s\u00e9quentiel. L’apprentissage parall\u00e8le, domin\u00e9 par le bagging et les m\u00e9thodes de sous-espaces al\u00e9atoires, construit l’ensemble de ses estimateurs de mani\u00e8re totalement d\u00e9coupl\u00e9e. Chaque mod\u00e8le est instanci\u00e9 sur une variation du jeu de donn\u00e9es originel sans communiquer avec ses pairs, l’objectif vis\u00e9 \u00e9tant une d\u00e9corr\u00e9lation maximale des erreurs individuelles afin d’assurer une stabilisation par moyennage arithm\u00e9tique ou par vote pluralitaire.<\/p>\n \u00c0 l’oppos\u00e9, l’apprentissage s\u00e9quentiel, dont le boosting constitue le repr\u00e9sentant le plus achev\u00e9, \u00e9tablit une d\u00e9pendance temporelle stricte entre les estimateurs. Chaque nouvel apprenant introduit dans la cha\u00eene analytique a pour mission explicite de neutraliser les d\u00e9faillances de la coalition qui le pr\u00e9c\u00e8de. La construction du syst\u00e8me pr\u00e9dictif ne s’op\u00e8re donc pas par simple juxtaposition d’opinions ind\u00e9pendantes, mais par une n\u00e9gociation dynamique o\u00f9 chaque maillon affine les fronti\u00e8res de d\u00e9cision l\u00e0 o\u00f9 le collectif demeure incertain.<\/p>\n Pour appr\u00e9hender la singularit\u00e9 du boosting, il est indispensable de diss\u00e9quer le fonctionnement de son pendant parall\u00e8le : le bagging, acronyme de Bootstrap Aggregating<\/em>, formalis\u00e9 par Leo Breiman en 1996. Le socle m\u00e9thodologique du bagging repose sur la technique non param\u00e9trique du bootstrap<\/a> d\u00e9velopp\u00e9e par Bradley Efron. Cette proc\u00e9dure consiste \u00e0 engendrer de multiples pseudo-\u00e9chantillons d’apprentissage, chacun \u00e9tant constitu\u00e9 par un tirage uniforme avec remise d’un nombre d’observations identique \u00e0 celui du jeu de donn\u00e9es original ($N$<\/span>). Sur le plan probabiliste, chaque \u00e9chantillon bootstrap contient en moyenne approximativement 63,2 % des observations distinctes initiales, les 36,8 % restants formant la fraction dite hors-sac (out-of-bag<\/em>).<\/p>\n Le paradigme du bagging exploite ce m\u00e9canisme pour entra\u00eener, sur chaque pseudo-\u00e9chantillon, un estimateur dot\u00e9 d’une tr\u00e8s forte expressivit\u00e9 g\u00e9om\u00e9trique mais intrins\u00e8quement instable, typiquement un arbre de d\u00e9cision profond pouss\u00e9 jusqu’\u00e0 ses feuilles terminales sans \u00e9lagage. Pris isol\u00e9ment, un tel arbre poss\u00e8de un biais th\u00e9orique presque nul mais une variance colossale : une infime perturbation de l’\u00e9chantillon d’apprentissage modifie radicalement les n\u0153uds de scission et l’architecture arborescente globale.<\/p>\n En agr\u00e9geant les sorties de ces $B$<\/span> arbres ind\u00e9pendants, par la moyenne arithm\u00e9tique pour une t\u00e2che de r\u00e9gression continue ou par un vote \u00e0 la majorit\u00e9 simple pour une classification cat\u00e9gorielle, le bagging neutralise cette instabilit\u00e9 structurelle. L’erreur de variance du m\u00e9ta-mod\u00e8le d\u00e9cro\u00eet \u00e0 mesure que le nombre d’arbres augmente, sans d\u00e9grader le biais initialement faible des estimateurs profonds. L’extension ultime de cette approche a donn\u00e9 naissance aux for\u00eats al\u00e9atoires, qui injectent une dose suppl\u00e9mentaire d’ind\u00e9pendance en contraignant chaque partition de n\u0153ud \u00e0 n’examiner qu’un sous-ensemble al\u00e9atoire de variables explicatives.<\/p>\n Le boosting op\u00e8re une rupture radicale avec les postulats du bagging. Alors que ce dernier postule que la diversit\u00e9 des mod\u00e8les doit \u00eatre le fruit du hasard stochastique induit par l’\u00e9chantillonnage avec remise et la s\u00e9lection al\u00e9atoire des caract\u00e9ristiques, le boosting con\u00e7oit l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 des estimateurs comme le r\u00e9sultat d’un guidage d\u00e9terministe orchestr\u00e9 par l’erreur r\u00e9siduelle. L’ind\u00e9pendance statistique des pr\u00e9dicteurs, si ch\u00e8re au bagging, est d\u00e9lib\u00e9r\u00e9ment abandonn\u00e9e au profit d’une d\u00e9pendance adaptative hautement informative.<\/p>\n Dans un processus de boosting, l’\u00e9chantillonnage n’est plus uniforme et statique : il est modul\u00e9 dynamiquement. Les observations qui r\u00e9sistent \u00e0 la sagacit\u00e9 des premiers mod\u00e8les voient leur importance relative s’amplifier lors des it\u00e9rations ult\u00e9rieures. Le syst\u00e8me force ainsi les apprenants subs\u00e9quents \u00e0 concentrer l’int\u00e9gralit\u00e9 de leur capacit\u00e9 d’optimisation sur les r\u00e9gions les plus litigieuses du domaine de d\u00e9finition. Il ne s’agit plus de faire voter une foule d’experts form\u00e9s s\u00e9par\u00e9ment sur des donn\u00e9es tronqu\u00e9es, mais d’orchestrer un dialogue continu au sein duquel chaque nouvel intervenant comble les lacunes cognitives de ses pr\u00e9d\u00e9cesseurs.<\/p>\n Cette approche s\u00e9quentielle conf\u00e8re au boosting une efficacit\u00e9 analytique sans commune mesure face aux structures de donn\u00e9es complexes. L\u00e0 o\u00f9 le bagging applique une force brute de r\u00e9duction de variance sur des mod\u00e8les inutilement volumineux, le boosting \u00e9rige une cath\u00e9drale pr\u00e9dictive \u00e0 partir de briques \u00e9l\u00e9mentaires extr\u00eamement modestes. Ce recalibrage progressif transforme le probl\u00e8me de l’apprentissage en une trajectoire d’optimisation continue au sein de l’espace des mod\u00e8les.<\/p>\n L’\u00e9valuation de la performance d’un mod\u00e8le d’apprentissage supervis\u00e9 en r\u00e9gression s’appuie classiquement sur la d\u00e9composition math\u00e9matique de l’esp\u00e9rance de l’erreur quadratique moyenne (EQM ou MSE<\/em> pour Mean Squared Error) sur des donn\u00e9es non observ\u00e9es. Pour une valeur cible continue $Y = f(X) + varepsilon$<\/span>, o\u00f9 $varepsilon$<\/span> repr\u00e9sente un bruit al\u00e9atoire gaussien irr\u00e9ductible d’esp\u00e9rance nulle et de variance $\\sigma^2$<\/span>, l’erreur quadratique attendue d’un estimateur $\\hat{f}(X)$<\/span> conditionn\u00e9e au point $X = x$<\/span> se d\u00e9compose rigoureusement en trois composantes orthogonales distinctes :<\/p>\n $$\\mathbb{E}\\left[(Y – \\hat{f}(x))^2\\right] = \\left(\\text{Biais}[\\hat{f}(x)]\\right)^2 + \\text{Var}(\\hat{f}(x)) + \\sigma^2$$<\/span><\/p>\n Le biais structurel mesure la divergence g\u00e9om\u00e9trique entre l’esp\u00e9rance de la pr\u00e9diction du mod\u00e8le et la v\u00e9ritable valeur cible sous-jacente : $\\text{Biais}[\\hat{f}(x)] = \\mathbb{E}[\\hat{f}(x)] – f(x)$<\/span>. Un biais \u00e9lev\u00e9 traduit l’incapacit\u00e9 fonci\u00e8re de l’algorithme \u00e0 appr\u00e9hender la forme fonctionnelle r\u00e9elle des donn\u00e9es, signe d’un sous-apprentissage manifeste. La variance empirique, quant \u00e0 elle, quantifie la variabilit\u00e9 des pr\u00e9dictions de l’estimateur lorsqu’il est entra\u00een\u00e9 sur diff\u00e9rents jeux de donn\u00e9es issus de la m\u00eame population : $\\text{Var}(\\hat{f}(x)) = \\mathbb{E}\\left[\\left(\\hat{f}(x) – \\mathbb{E}[\\hat{f}(x)]\\right)^2\\right]$<\/span>. Enfin, le terme $\\sigma^2$<\/span> repr\u00e9sente le bruit irr\u00e9ductible, limite absolue dict\u00e9e par l’entropie inh\u00e9rente au syst\u00e8me de mesure et aux facteurs non observ\u00e9s.<\/p>\n Toute tentative d’accro\u00eetre la complexit\u00e9 d’un mod\u00e8le pour compresser le terme de biais s’accompagne in\u00e9vitablement, pour un estimateur unique, d’une explosion du terme de variance, et r\u00e9ciproquement. La ma\u00eetrise de ce compromis structurel constitue le d\u00e9fi architectural majeur de la mod\u00e9lisation statistique pr\u00e9dictive.<\/p>\n Le bagging concentre son m\u00e9canisme op\u00e9ratoire presque exclusivement sur la r\u00e9duction du terme de variance au sein de l’\u00e9quation de l’erreur quadratique. Si l’on consid\u00e8re un ensemble de $B$<\/span> estimateurs $\\hat{f}_b(x)$<\/span>, chacun poss\u00e9dant individuellement une variance $\\sigma^2_M$<\/span> et un biais $b$<\/span>, et partageant une corr\u00e9lation mutuelle moyenne positive not\u00e9e $rho$<\/span>, l’estimateur combin\u00e9 obtenu par simple moyennage pr\u00e9sente une variance globale dont la formulation analytique est donn\u00e9e par :<\/p>\n $$\\text{Var}\\left(\\frac{1}{B} \\sum_{b=1}^B \\hat{f}_b(x)\\right) = \\rho \\sigma^2_M + \\frac{1 – \\rho}{B} \\sigma^2_M$$<\/span><\/p>\n Lorsque le nombre d’arbres $B$<\/span> cro\u00eet vers l’infini, le second terme s’\u00e9teint asymptotiquement, laissant la variance plancher du m\u00e9ta-mod\u00e8le strictement born\u00e9e par le produit $\\rho \\sigma^2_M$<\/span>. En for\u00e7ant l’utilisation d’arbres tr\u00e8s profonds et non \u00e9lagu\u00e9s, le bagging garantit que le biais individuel $b$<\/span> est maintenu \u00e0 un niveau extr\u00eamement bas. Le moyennage stochastique se charge ensuite de r\u00e9duire la variance empirique d’autant plus efficacement que les mod\u00e8les sont d\u00e9corr\u00e9l\u00e9s (c’est-\u00e0-dire que le coefficient $rho$<\/span> est minimis\u00e9).<\/p>\n Cette strat\u00e9gie pr\u00e9sente cependant un \u00e9cueil th\u00e9orique fondamental : le bagging est constitutionnellement incapable de corriger un mod\u00e8le sous-jacent qui souffre d’un biais \u00e9lev\u00e9. Si les apprenants individuels sont des arbres superficiels ou des mod\u00e8les trop simples qui \u00e9chouent \u00e0 d\u00e9celer les r\u00e9gularit\u00e9s des donn\u00e9es, le processus d’agr\u00e9gation parall\u00e8le ne fera que stabiliser une pr\u00e9diction structurellement fausse. Le bagging pr\u00e9suppose une comp\u00e9tence analytique locale pr\u00e9existante au sein de chaque unit\u00e9 du collectif.<\/p>\n \u00c0 l’inverse sym\u00e9trique du bagging, le boosting oriente son action algorithmique en priorit\u00e9 vers l’\u00e9radication du biais d’apprentissage. La m\u00e9thodologie repose sur l’exploitation d\u00e9lib\u00e9r\u00e9e d’apprenants de base caract\u00e9ris\u00e9s par un tr\u00e8s fort biais structurel mais une variance minimale. Ces estimateurs rudimentaires, stables et insensibles aux fluctuations de surface, sont incapables d’engendrer \u00e0 eux seuls des pr\u00e9dictions acceptables.<\/p>\n Le principe it\u00e9ratif du boosting consiste \u00e0 soustraire syst\u00e9matiquement, \u00e0 chaque pas de calcul, la part de variance expliqu\u00e9e par le mod\u00e8le actuel pour ne laisser subsister que les r\u00e9sidus d’approximation. En for\u00e7ant le nouvel apprenant \u00e0 s’aligner sur ces r\u00e9sidus, l’algorithme comprime pas \u00e0 pas la distance entre l’esp\u00e9rance de l’ensemble et la fonction g\u00e9n\u00e9ratrice des donn\u00e9es. Le biais d\u00e9cro\u00eet ainsi de fa\u00e7on exponentielle ou polynomiale au gr\u00e9 des it\u00e9rations successives.<\/p>\n N\u00e9anmoins, cette \u00e9rosion continue du biais n’est pas sans danger : au fur et \u00e0 mesure que les apprenants faibles s’empilent pour corriger des erreurs de plus en plus infinit\u00e9simales, la complexit\u00e9 g\u00e9om\u00e9trique de la fronti\u00e8re de d\u00e9cision combin\u00e9e augmente drastiquement. L’ensemble acquiert une flexibilit\u00e9 accrue, ce qui finit par induire une hausse progressive de la variance globale du syst\u00e8me. D\u00e8s lors, le risque majeur du boosting n’est pas le sous-apprentissage, mais la d\u00e9rive progressive vers un surajustement caract\u00e9ris\u00e9, n\u00e9cessitant la mise en place de dispositifs de r\u00e9gularisation et de surveillance asymptotique rigoureux.<\/p>\n![\"Boosting](\"http:\/\/french.arabpsychology.com\/wp-content\/uploads\/2026\/09\/boosting1.png\")
1. Introduction aux paradigmes d’apprentissage statistique et \u00e9mergence du boosting<\/h2>\n
1.1 Limites inh\u00e9rentes aux mod\u00e8les pr\u00e9dictifs individuels<\/h3>\n
1.2 Gen\u00e8se th\u00e9orique de la combinaison de mod\u00e8les<\/h3>\n
1.3 Objectifs p\u00e9dagogiques et port\u00e9e de cette introduction<\/h3>\n
2. Du mod\u00e8le unique aux m\u00e9thodes d’ensemble : fondements th\u00e9oriques<\/h2>\n
2.1 Taxonomie g\u00e9n\u00e9rale des m\u00e9thodes d’ensemble<\/h3>\n
2.2 Le principe du bootstrap et l’\u00e9mergence du bagging<\/h3>\n
2.3 La rupture conceptuelle introduite par le boosting<\/h3>\n
3. Le compromis biais-variance : comparaison structurelle entre bagging et boosting<\/h2>\n
3.1 D\u00e9composition formelle de l’erreur quadratique moyenne<\/h3>\n
3.2 Action cibl\u00e9e du bagging sur la variance<\/h3>\n
3.3 Action privil\u00e9gi\u00e9e du boosting sur le biais<\/h3>\n
4. Qu’est-ce qu’un apprenant faible (Weak Learner) ?<\/h2>\n
4.1 D\u00e9finition math\u00e9matique et conditions th\u00e9oriques<\/h3>\n