Ce trait\u00e9 exhaustif se propose d\u2019explorer les fondements th\u00e9oriques, la cin\u00e9matique algorithmique et les r\u00e9percussions pratiques du Bagging dans l\u2019\u00e9cosyst\u00e8me de l\u2019apprentissage automatique. Du d\u00e9clin programm\u00e9 des mod\u00e8les lin\u00e9aires classiques jusqu\u2019aux raffinements contemporains appliqu\u00e9s aux s\u00e9ries temporelles et aux r\u00e9seaux neuronaux profonds, nous diss\u00e9querons les rouages intimes de cette technique d\u2019ensemble. \u00c0 travers une analyse rigoureuse des m\u00e9canismes de partitionnement r\u00e9cursif, de la d\u00e9composition analytique des erreurs de g\u00e9n\u00e9ralisation, de la g\u00e9om\u00e9trie des fronti\u00e8res de d\u00e9cision et de la validation hors sac (Out-Of-Bag<\/em>), ce document offre aux chercheurs, praticiens et \u00e9tudiants avanc\u00e9s un panorama exhaustif des vertus statistiques et des d\u00e9fis op\u00e9rationnels inh\u00e9rents \u00e0 l\u2019agr\u00e9gation bootstrap.<\/p>\n L\u2019architecture intellectuelle de la statistique inf\u00e9rentielle a longtemps \u00e9t\u00e9 domin\u00e9e par le cadre d\u2019analyse de la r\u00e9gression lin\u00e9aire multiple et le th\u00e9or\u00e8me de Gauss-Markov. Dans ce cadre, la relation unissant un vecteur de pr\u00e9dicteurs continus ou cat\u00e9goriels \u00e0 une variable de r\u00e9ponse continue est mod\u00e9lis\u00e9e sous la forme d\u2019une combinaison lin\u00e9aire de param\u00e8tres pond\u00e9r\u00e9e par une perturbation stochastique. L\u2019orthogonalit\u00e9 requise entre les r\u00e9gresseurs et le terme d\u2019erreur, l\u2019hypoth\u00e8se fondamentale d\u2019exog\u00e9n\u00e9it\u00e9 stricte, ainsi que la condition sine qua non d\u2019homosc\u00e9dasticit\u00e9 \u2014 prescrivant une variance r\u00e9siduelle constante sur l\u2019ensemble du spectre des valeurs pr\u00e9dites \u2014 constituent l\u2019\u00e9chafaudage indispensable garantissant l\u2019optimalit\u00e9 des estimateurs des moindres carr\u00e9s ordinaires au sein de la classe des estimateurs lin\u00e9aires sans biais (propri\u00e9t\u00e9 BLUE, pour Best Linear Unbiased Estimator<\/em>).<\/p>\n Toutefois, la confrontation de ces postulats canoniques \u00e0 des donn\u00e9es empiriques non contr\u00f4l\u00e9es met en lumi\u00e8re une incapacit\u00e9 structurelle \u00e0 capturer les interactions d\u2019ordre sup\u00e9rieur en l\u2019absence d\u2019un travail d\u2019ing\u00e9nierie explicite et exhaustif des variables explicatives. Dans un espace multidimensionnel, supposer que l\u2019impact marginal d\u2019une variable pr\u00e9dictive sur la cible demeure strictement additif et invariable, quel que soit l\u2019\u00e9tat d\u2019activation des autres attributs du syst\u00e8me, rel\u00e8ve d\u2019une simplification souvent excessive. D\u00e8s lors qu\u2019un ph\u00e9nom\u00e8ne physique, \u00e9conomique ou biologique fait intervenir des boucles de r\u00e9troaction, des saturations ou des effets de seuil, le mod\u00e8le lin\u00e9aire impose une projection coercitive qui mutile la r\u00e9alit\u00e9 topologique des donn\u00e9es, g\u00e9n\u00e9rant un biais de sp\u00e9cification irr\u00e9ductible.<\/p>\n \u00c0 cette rigidit\u00e9 structurelle s\u2019ajoute une vuln\u00e9rabilit\u00e9 critique vis-\u00e0-vis des valeurs aberrantes ou des points de fort levier dans l\u2019espace des variables explicatives. La fonction de perte quadratique usuelle, par sa nature convexe et strictement croissante \u00e0 l\u2019infini, attribue un poids disproportionn\u00e9 aux observations p\u00e9riph\u00e9riques, ce qui peut d\u00e9stabiliser l\u2019orientation de l\u2019hyperplan de r\u00e9gression de mani\u00e8re d\u00e9sastreuse. De surcro\u00eet, dans les contextes de classification lin\u00e9aire (\u00e0 l\u2019instar de l\u2019analyse discriminante lin\u00e9aire de Fisher ou de la r\u00e9gression logistique bivari\u00e9e), la d\u00e9termination de fronti\u00e8res de d\u00e9cision param\u00e9triques hyperplanaires s\u2019av\u00e8re incapable de segmenter des vari\u00e9t\u00e9s riemanniennes imbriqu\u00e9es ou des distributions non s\u00e9parables lin\u00e9airement sans un recours p\u00e9rilleux \u00e0 des transformations polynomiales d\u2019ordre \u00e9lev\u00e9, lesquelles induisent une explosion combinatoire du nombre de dimensions.<\/p>\n L\u2019accumulation exponentielle de donn\u00e9es de haute dimensionnalit\u00e9 a catalys\u00e9 une rupture paradigmatique majeure en faveur des approches dites non param\u00e9triques. Contrairement aux formulations classiques qui assument une distribution probabiliste th\u00e9orique pr\u00e9existante (telle que la loi normale multidimensionnelle), les m\u00e9thodologies non param\u00e9triques n\u2019imposent pas a priori de forme fonctionnelle analytique fixe \u00e0 la relation reliant les covariables \u00e0 la variable d\u2019int\u00e9r\u00eat. L\u2019imp\u00e9ratif n\u2019est plus de contraindre les observations \u00e0 s\u2019ins\u00e9rer dans le carcan d\u2019une \u00e9quation pr\u00e9d\u00e9finie, mais de permettre aux donn\u00e9es d\u2019informer directement et souverainement la g\u00e9om\u00e9trie de la fonction d\u2019approximation, \u00e9pousant ainsi les sinuosit\u00e9s, les discontinuit\u00e9s et les courbures intrins\u00e8ques des vari\u00e9t\u00e9s sous-jacentes.<\/p>\n Cette transition technique s\u2019accompagne d\u2019un glissement \u00e9pist\u00e9mologique fondamental : le passage d\u2019une focalisation exclusive sur l\u2019inf\u00e9rence causale et l\u2019interpr\u00e9tabilit\u00e9 asymptotique des param\u00e8tres \u00e0 la maximisation r\u00e9solue de la performance pr\u00e9dictive hors \u00e9chantillon. Tandis que l\u2019\u00e9conom\u00e9trie traditionnelle privil\u00e9gie des estimateurs convergents et des tests d\u2019hypoth\u00e8ses fond\u00e9s sur des distributions asymptotiques (tests de Wald, rapports de vraisemblance), l\u2019apprentissage statistique contemporain \u00e9rige la g\u00e9n\u00e9ralisation empirique sur des donn\u00e9es jamais rencontr\u00e9es en crit\u00e8re d\u2019\u00e9valuation absolu. Ce basculement a \u00e9t\u00e9 magistralement explicit\u00e9 par Leo Breiman dans son essai fondateur sur les deux cultures statistiques<\/a>, dans lequel il oppose la culture de la mod\u00e9lisation des donn\u00e9es \u00e0 celle des mod\u00e8les algorithmiques.<\/p>\n Dans ce nouveau cadre m\u00e9thodologique, la performance d\u2019un algorithme n\u2019est plus \u00e9valu\u00e9e \u00e0 l\u2019aune de sa significativit\u00e9 statistique sous des hypoth\u00e8ses restrictives souvent irr\u00e9alistes, mais par sa facult\u00e9 intrins\u00e8que \u00e0 minimiser une fonction de risque empirique r\u00e9gularis\u00e9e. L\u2019apprentissage automatique moderne s\u2019\u00e9mancipe des contraintes matricielles traditionnelles telles que l\u2019inversion de matrices de variance-covariance mal conditionn\u00e9es par la multicolin\u00e9arit\u00e9 pour d\u00e9ployer des proc\u00e9dures it\u00e9ratives d\u2019optimisation num\u00e9rique. C\u2019est pr\u00e9cis\u00e9ment au confluent de cette qu\u00eate de flexibilit\u00e9 non param\u00e9trique et de la rigueur algorithmique que s\u2019inscrivent les mod\u00e8les \u00e0 base d\u2019arbres de d\u00e9cision, socles privil\u00e9gi\u00e9s de l\u2019apprentissage ensembliste.<\/p>\n L\u2019architecture des arbres de classification et de r\u00e9gression, universalis\u00e9e sous l\u2019appellation d\u2019algorithme CART<\/a> par Leo Breiman, Jerome Friedman, Richard Olshen et Charles Stone en 1984, repose sur une strat\u00e9gie de d\u00e9composition s\u00e9quentielle et hi\u00e9rarchique de l\u2019espace des descripteurs. Le m\u00e9canisme fondamental consiste en un partitionnement r\u00e9cursif binaire, o\u00f9 l\u2019espace des variables d\u2019entr\u00e9e est subdivis\u00e9 en une multitude d\u2019hyperrectangles disjoints align\u00e9s sur les axes de coordonn\u00e9es. \u00c0 chaque n\u0153ud de l\u2019arbre, l\u2019algorithme explore de mani\u00e8re exhaustive toutes les variables explicatives disponibles et, pour chacune d\u2019elles, l\u2019ensemble des points de coupure envisageables, afin de s\u00e9lectionner le diptyque variable-seuil qui maximise une m\u00e9trique pr\u00e9d\u00e9finie de gain d\u2019homog\u00e9n\u00e9it\u00e9 au sein des sous-n\u0153uds r\u00e9sultants.<\/p>\n Dans le contexte de la r\u00e9gression, o\u00f9 la cible est quantitative, le crit\u00e8re d\u2019optimalit\u00e9 de la division est invariablement la minimisation de la somme des erreurs au carr\u00e9 (SSE, pour Sum of Squared Errors<\/em>) au sein des deux sous-r\u00e9gions filles cr\u00e9\u00e9es. Soit une division d’une r\u00e9gion parente en deux sous-espaces distincts : l’algorithme calcule la moyenne de la variable cible dans chaque sous-espace et cherche le seuil qui minimise la d\u00e9viance totale par rapport \u00e0 ces moyennes locales respectives. Le pr\u00e9dicteur terminal assign\u00e9 \u00e0 chaque feuille de l\u2019arbre correspond alors simplement \u00e0 l\u2019esp\u00e9rance empirique de la variable r\u00e9ponse des observations tombant dans cette cellule de l\u2019espace partitionn\u00e9.<\/p>\n Pour les probl\u00e8mes de classification, o\u00f9 la variable d\u2019int\u00e9r\u00eat est qualitative \u00e0 plusieurs modalit\u00e9s, la recherche de la scission optimale fait appel \u00e0 des crit\u00e8res d’impuret\u00e9 probabilistes. Le crit\u00e8re pr\u00e9pond\u00e9rant de CART est l\u2019indice de diversit\u00e9 de Gini, qui quantifie la probabilit\u00e9 qu\u2019un individu s\u00e9lectionn\u00e9 au hasard soit mal class\u00e9 s\u2019il recevait une \u00e9tiquette attribu\u00e9e al\u00e9atoirement selon la distribution des classes dans le n\u0153ud consid\u00e9r\u00e9. Une alternative classique, issue de la th\u00e9orie de l\u2019information de Claude Shannon et popularis\u00e9e par les algorithmes ID3 et C4.5 de Ross Quinlan, est l\u2019entropie crois\u00e9e, qui mesure le d\u00e9sordre informationnel du n\u0153ud. Le partitionnement progresse tant que des r\u00e8gles d\u2019arr\u00eat algorithmiques \u2014 telles qu\u2019un seuil minimal de gain d\u2019impuret\u00e9, une profondeur maximale de l\u2019arborescence ou un effectif plancher d\u2019individus par feuille \u2014 ne sont pas activ\u00e9es, figeant ainsi un maillage orthogonal continu par morceaux de l\u2019espace des donn\u00e9es.<\/p>\n Les arbres de d\u00e9cision ont conquis une place de premier plan dans le corpus de la mod\u00e9lisation statistique en raison d\u2019un ensemble exceptionnel de propri\u00e9t\u00e9s structurelles. Le premier atout r\u00e9side incontestablement dans leur interpr\u00e9tabilit\u00e9 g\u00e9om\u00e9trique et heuristique imm\u00e9diate. Contrairement aux mod\u00e8les \u00e0 param\u00e8tres distribu\u00e9s ou aux syst\u00e8mes \u00e0 repr\u00e9sentations latentes continues, un arbre CART peut \u00eatre int\u00e9gralement transcrit sous la forme d\u2019un ensemble d\u00e9terministe de r\u00e8gles logiques conditionnelles imbriqu\u00e9es (de type \u00ab SI condition ALORS cons\u00e9quence \u00bb). Cette structure logique offre une visibilit\u00e9 directe sur la prise de d\u00e9cision automatis\u00e9e, un imp\u00e9ratif \u00e9thique et juridique pr\u00e9pond\u00e9rant dans des domaines critiques tels que le diagnostic m\u00e9dical ou le cr\u00e9dit bancaire.<\/p>\n Sur le plan de la pr\u00e9traitabilit\u00e9 des donn\u00e9es, les arbres CART manifestent une agnosticit\u00e9 technique remarquable. Ils traitent avec une \u00e9gale aisance des variables quantitatives continues et des covariables qualitatives polytomiques sans n\u00e9cessiter d\u2019imputations complexes ou d\u2019encodages artificiels susceptibles de distordre la topologie des donn\u00e9es. De surcro\u00eet, le partitionnement binaire \u00e9tant invariant vis-\u00e0-vis de toute transformation strictement monotone appliqu\u00e9e aux descripteurs unidimensionnels, l\u2019utilisateur est affranchi des op\u00e9rations laborieuses de centrage, de r\u00e9duction ou de normalisation logarithmique indispensables au bon conditionnement des mod\u00e8les lin\u00e9aires ou des r\u00e9seaux de neurones.<\/p>\n Enfin, CART d\u00e9montre une robustesse intrins\u00e8que face aux pathologies courantes de la mod\u00e9lisation classique. En effectuant des s\u00e9lections locales de variables \u00e0 chaque \u00e9tape du partitionnement r\u00e9cursif, l\u2019arbre neutralise la multicolin\u00e9arit\u00e9 s\u00e9v\u00e8re : si deux variables contiennent une information redondante, l\u2019une d\u2019elles est s\u00e9lectionn\u00e9e pour la division sans que le conditionnement num\u00e9rique du syst\u00e8me global n\u2019en soit p\u00e9nalis\u00e9. De m\u00eame, l\u2019exclusion automatique des covariables d\u00e9nu\u00e9es de pouvoir discriminant procure une s\u00e9lection de caract\u00e9ristiques intrins\u00e8que et dynamique, tout en s\u2019\u00e9mancipant radicalement de toute hypoth\u00e8se relative \u00e0 la normalit\u00e9 des distributions multivari\u00e9es.<\/p>\n En d\u00e9pit de leur remarquable flexibilit\u00e9 fonctionnelle, les arbres de classification et de r\u00e9gression souffrent d\u2019une tare m\u00e9thodologique majeure qui entrave leur exploitation isol\u00e9e dans des contextes pr\u00e9dictifs exigeants : leur ph\u00e9nom\u00e9nale instabilit\u00e9 structurelle. Cette vuln\u00e9rabilit\u00e9 d\u00e9coule directement de la nature intrins\u00e8quement myope et gloutonne (greedy<\/em>) de l\u2019algorithme de partitionnement. \u00c0 chaque n\u0153ud, la scission optimale est d\u00e9termin\u00e9e sur la base exclusive du gain d\u2019impuret\u00e9 imm\u00e9diat, sans consid\u00e9ration prospective des divisions ult\u00e9rieures. En cons\u00e9quence, une perturbation marginale apport\u00e9e \u00e0 l\u2019\u00e9chantillon d\u2019apprentissage \u2014 par exemple l\u2019adjonction, la suppression ou la modification de quelques observations isol\u00e9es \u2014 peut alt\u00e9rer le choix de la variable de scission au niveau du n\u0153ud racine ou des premiers niveaux hi\u00e9rarchiques.<\/p>\n Cette alt\u00e9ration liminaire produit des cons\u00e9quences d\u00e9vastatrices sur l\u2019ensemble de la structure topologique subs\u00e9quente. En vertu du m\u00e9canisme hi\u00e9rarchique, une d\u00e9cision de division modifi\u00e9e au sommet de l\u2019arbre conditionne l\u2019ensemble des sous-espaces disponibles pour les \u00e9tapes suivantes. Les erreurs ou divergences de partitionnement ne s\u2019amortissent pas : elles se propagent de mani\u00e8re cumulative et exponentielle le long des branches, engendrant des configurations de feuilles terminales et des allocations spatiales radicalement dissemblables. Un arbre entra\u00een\u00e9 sur une fraction d\u2019un \u00e9chantillon donn\u00e9 peut ainsi adopter une g\u00e9om\u00e9trie d\u00e9cisionnelle orthogonale totalement d\u00e9corr\u00e9l\u00e9e de celle obtenue sur l\u2019autre fraction.<\/p>\n Cette sensibilit\u00e9 aigu\u00eb aux fluctuations stochastiques d\u2019\u00e9chantillonnage conf\u00e8re aux arbres individuels une variance statistique colossale. Deux jeux de donn\u00e9es g\u00e9n\u00e9r\u00e9s par un m\u00eame processus stochastique sous-jacent donneront naissance \u00e0 des pr\u00e9dicteurs CART dont les pr\u00e9dictions locales peuvent \u00eatre diam\u00e9tralement oppos\u00e9es. Les arbres profonds, n\u00e9cessaires pour capturer des interactions subtiles d\u2019ordre sup\u00e9rieur, ont tendance \u00e0 sculpter leurs fronti\u00e8res en \u00e9pousant les idiosyncrasies et le bruit propre \u00e0 l\u2019\u00e9chantillon d\u2019entra\u00eenement plut\u00f4t que d\u2019isoler la composante structurelle du signal. C\u2019est cette faiblesse architecturale fondamentale qui justifie et n\u00e9cessite la mise en \u0153uvre de m\u00e9thodologies d\u2019ensemble stabilisatrices.<\/p>\n Pour appr\u00e9hender rigoureusement la gen\u00e8se du Bagging et son apport \u00e0 la th\u00e9orie de l\u2019apprentissage, il est imp\u00e9ratif de formaliser le comportement de l\u2019erreur de g\u00e9n\u00e9ralisation au travers du prisme de la d\u00e9composition canonique biais-variance, th\u00e9oris\u00e9e pour la r\u00e9gression par Stuart Geman, Elie Bienenstock et Ren\u00e9 Doursat en 1992<\/a>. Consid\u00e9rons une variable d\u00e9pendante quantitative g\u00e9n\u00e9r\u00e9e par un processus stochastique id\u00e9al sous la forme d\u2019une fonction cible continue alt\u00e9r\u00e9e par un terme d\u2019erreur additif non observable d\u2019esp\u00e9rance nulle et de variance homosc\u00e9dastique finie. Soit un estimateur param\u00e9trique ou non param\u00e9trique calibr\u00e9 sur un ensemble fini d\u2019apprentissage constitu\u00e9 de r\u00e9alisations ind\u00e9pendantes et identiquement distribu\u00e9es.<\/p>\n L\u2019erreur quadratique moyenne de pr\u00e9diction (MSE, pour Mean Squared Error<\/em>) conditionnelle en un point d\u2019interrogation donn\u00e9 de l\u2019espace des caract\u00e9ristiques se d\u00e9compose analytiquement en trois termes distincts sous l\u2019op\u00e9rateur d\u2019esp\u00e9rance pris sur l\u2019ensemble des jeux d\u2019apprentissage possibles de taille identique :<\/p>\n Premi\u00e8rement, le carr\u00e9 du biais<\/strong> quantifie l\u2019\u00e9cart syst\u00e9matique entre l\u2019esp\u00e9rance math\u00e9matique de la fonction d\u2019ajustement estim\u00e9e sur une infinit\u00e9 d\u2019\u00e9chantillons hypoth\u00e9tiques et la valeur th\u00e9orique r\u00e9elle de la fonction sous-jacente. Un biais \u00e9lev\u00e9 traduit un mod\u00e8le d\u2019une rigidit\u00e9 excessive, incapable de reproduire la complexit\u00e9 g\u00e9om\u00e9trique de la r\u00e9alit\u00e9 (sous-apprentissage ou underfitting<\/em>), \u00e0 l\u2019image d\u2019une droite lin\u00e9aire forc\u00e9e sur un nuage de points sinuso\u00efdal.<\/p>\n Deuxi\u00e8mement, la variance statistique<\/strong> mesure la dispersion stochastique des pr\u00e9dictions du mod\u00e8le autour de sa propre esp\u00e9rance empirique lorsqu\u2019il est entra\u00een\u00e9 sur des r\u00e9pliques ind\u00e9pendantes issues de la m\u00eame population source. Une variance \u00e9lev\u00e9e indique une sensibilit\u00e9 pathologique du mod\u00e8le aux sp\u00e9cificit\u00e9s accidentelles de l\u2019\u00e9chantillon d\u2019apprentissage particulier auquel il a \u00e9t\u00e9 confront\u00e9.<\/p>\n Troisi\u00e8mement, le bruit irr\u00e9ductible<\/strong> repr\u00e9sente la variance stochastique intrins\u00e8que au syst\u00e8me physique ou mesur\u00e9, d\u00e9coulant de variables latentes non observ\u00e9es ou d\u2019une impr\u00e9cision exp\u00e9rimentale incontournable. Ce seuil incompressible, correspondant \u00e0 la limite bay\u00e9sienne du probl\u00e8me, d\u00e9limite la borne inf\u00e9rieure th\u00e9orique de l\u2019erreur de g\u00e9n\u00e9ralisation qu\u2019aucun algorithme, quelle que soit sa sophistication, ne saurait transgresser.<\/p>\n L\u2019application de cette grille de lecture analytique aux arbres de classification et de r\u00e9gression permet de caract\u00e9riser avec une pr\u00e9cision math\u00e9matique la pathologie structurelle identifi\u00e9e par Breiman. Un arbre CART que l\u2019on autorise \u00e0 cro\u00eetre sans contrainte d\u2019\u00e9lagage (pruning<\/em>) \u2014 c\u2019est-\u00e0-dire jusqu\u2019\u00e0 ce que chaque feuille devienne pure ou ne contienne qu\u2019un nombre infime d\u2019observations \u2014 pr\u00e9sente une propri\u00e9t\u00e9 fondamentale : son biais d\u2019ajustement est extr\u00eamement faible. Sa capacit\u00e9 \u00e0 d\u00e9couper l\u2019espace des pr\u00e9dicteurs en un grand nombre de r\u00e9gions hyperrectangulaires disjointes lui permet d\u2019approximer avec une grande acuit\u00e9 n\u2019importe quelle surface de r\u00e9gression complexe ou fronti\u00e8re de d\u00e9cision discontinue.<\/p>\n N\u00e9anmoins, cette mall\u00e9abilit\u00e9 quasi infinie s\u2019obtient au prix d\u2019une explosion incontr\u00f4l\u00e9e de la composante de variance. Dans les r\u00e9gions terminales de l\u2019arbre, les pr\u00e9dictions sont formul\u00e9es \u00e0 partir de sous-\u00e9chantillons d\u2019une taille d\u00e9risoire. L\u2019estimateur local est d\u00e8s lors soumis aux pires fluctuations d\u2019\u00e9chantillonnage : une simple fluctuation al\u00e9atoire dans l\u2019\u00e9tiquetage ou la valeur d\u2019une seule observation suffit \u00e0 modifier substantiellement le plateau pr\u00e9dictif de toute la r\u00e9gion correspondante. L\u2019arbre non \u00e9lagu\u00e9 souffre ainsi d\u2019un surapprentissage aigu (overfitting<\/em>) : il m\u00e9morise par c\u0153ur le bruit exp\u00e9rimental et les artefacts stochastiques du jeu d\u2019entra\u00eenement au d\u00e9triment de l\u2019apprentissage des r\u00e9gularit\u00e9s universelles du ph\u00e9nom\u00e8ne.<\/p>\n Les strat\u00e9gies de r\u00e9gularisation traditionnelles, telles que l\u2019\u00e9lagage par complexit\u00e9 de co\u00fbt (cost-complexity pruning<\/em>), proc\u00e8dent par arbitrage direct en tronquant l\u2019arborescence : elles r\u00e9duisent la variance au prix d\u00e9lib\u00e9r\u00e9 d\u2019une augmentation substantielle du biais, sacrifiant ainsi les d\u00e9tails les plus fins de la fonction sous-jacente. L\u2019enjeu m\u00e9thodologique majeur auquel se sont heurt\u00e9s les statisticiens consistait donc \u00e0 concevoir une architecture capable d\u2019annihiler la variance stochastique des arbres profonds sans d\u00e9grader leur remarquable absence de biais structurel. C\u2019est pr\u00e9cis\u00e9ment \u00e0 cette quadrature du cercle algorithmique que r\u00e9pond le concept de Bagging en mobilisant la th\u00e9orie du bootstrap.<\/p>\n Pour s\u2019affranchir de la d\u00e9pendance \u00e0 des hypoth\u00e8ses de distribution non v\u00e9rifiables et contourner l\u2019impossibilit\u00e9 pratique de collecter ind\u00e9finiment de nouveaux jeux de donn\u00e9es aupr\u00e8s de la population r\u00e9elle, Bradley Efron a introduit en 1979 une m\u00e9thodologie informatique novatrice : le bootstrap non param\u00e9trique<\/strong>. Le c\u0153ur conceptuel du bootstrap r\u00e9side dans l\u2019analogie f\u00e9conde \u00e9tablie entre la population th\u00e9orique parente et la distribution empirique observ\u00e9e au sein d\u2019un \u00e9chantillon repr\u00e9sentatif de taille finie ( n ).<\/p>\n Le principe op\u00e9rationnel repose sur le tirage uniforme avec remise de ( n ) observations individuelles \u00e0 partir de l\u2019\u00e9chantillon initial de r\u00e9f\u00e9rence. Cette op\u00e9ration \u00e9l\u00e9mentaire de r\u00e9\u00e9chantillonnage stochastique g\u00e9n\u00e8re ce que l\u2019on nomme un \u00e9chantillon bootstrap (ou pseudo-\u00e9chantillon). La caract\u00e9ristique cardinale de ce processus r\u00e9side dans le tirage avec remise : chaque observation du jeu initial dispose, \u00e0 chaque it\u00e9ration de s\u00e9lection \u00e9l\u00e9mentaire, d\u2019une probabilit\u00e9 constante \u00e9gale \u00e0 ( 1\/n ) d\u2019\u00eatre extraite, ind\u00e9pendamment de ses s\u00e9lections ant\u00e9rieures. Par voie de cons\u00e9quence, un \u00e9chantillon bootstrap donn\u00e9 peut comporter des duplications multiples de certaines observations originales, tandis que d\u2019autres en sont totalement absentes.<\/p>\n Sur le plan math\u00e9matique, le bootstrap repose sur le principe de substitution (plug-in principle<\/em>). En vertu du th\u00e9or\u00e8me de Glivenko-Cantelli, la fonction de r\u00e9partition empirique converge uniform\u00e9ment et presque s\u00fbrement vers la fonction de r\u00e9partition th\u00e9orique de la population d\u2019origine lorsque la taille d\u2019\u00e9chantillon tend vers l\u2019infini. Il s\u2019ensuit que la distribution d\u2019\u00e9chantillonnage d\u2019une statistique calcul\u00e9e sur des r\u00e9pliques bootstrap imite fid\u00e8lement la distribution d\u2019\u00e9chantillonnage r\u00e9elle de cette statistique par rapport \u00e0 la population parente. Cette perc\u00e9e th\u00e9orique a transform\u00e9 l\u2019inf\u00e9rence statistique en substituant \u00e0 des d\u00e9rivations asymptotiques analytiques souvent insolubles la puissance brute de la simulation computationnelle intensive.<\/p>\n L\u2019analyse probabiliste du m\u00e9canisme de s\u00e9lection avec remise r\u00e9v\u00e8le une constante asymptotique fondamentale qui gouverne l\u2019ensemble de l\u2019\u00e9difice du Bagging. Consid\u00e9rons un \u00e9chantillon d\u2019entra\u00eenement originel constitu\u00e9 de ( n ) vecteurs d\u2019observations distincts. Lorsque l\u2019on effectue un tirage al\u00e9atoire uniforme unitaire, la probabilit\u00e9 qu\u2019une observation donn\u00e9e ne soit pas s\u00e9lectionn\u00e9e \u00e9quivaut strictement \u00e0 :<\/p>\n [ P(text{non-s\u00e9lection en un tirage}) = 1 – frac{1}{n} ]<\/p>\n Puisque la constitution d\u2019un pseudo-\u00e9chantillon bootstrap requiert l\u2019ex\u00e9cution successive de ( n ) tirages stochastiques parfaitement ind\u00e9pendants et identiquement distribu\u00e9s avec remise, la probabilit\u00e9 conjointe qu\u2019une observation d\u00e9termin\u00e9e \u00e9chappe \u00e0 la totalit\u00e9 des tirages s\u2019\u00e9crit sous la forme factoris\u00e9e du produit de ces probabilit\u00e9s \u00e9l\u00e9mentaires :<\/p>\n [ P(text{exclusion d’un \u00e9chantillon bootstrap}) = left(1 – frac{1}{n}right)^n ]<\/p>\n En mobilisant la d\u00e9finition analytique classique de la fonction exponentielle comme limite d\u2019une suite g\u00e9om\u00e9trique, nous examinons le comportement asymptotique de cette probabilit\u00e9 lorsque la taille de l\u2019\u00e9chantillon devient infiniment grande :<\/p>\n [ lim_{n to infty} left(1 – frac{1}{n}right)^n = e^{-1} = frac{1}{e} approx 0{,}367879 ] <\/p>\n Par compl\u00e9mentarit\u00e9 \u00e0 l\u2019unit\u00e9, la probabilit\u00e9 qu\u2019une observation empirique particuli\u00e8re apparaisse au moins une fois dans une r\u00e9plique bootstrap donn\u00e9e converge inexorablement vers la valeur limite :<\/p>\n [ lim_{n to infty} left(1 – left(1 – frac{1}{n}right)^nright) = 1 – frac{1}{e} approx 0{,}632121 ] <\/p>\n Cette d\u00e9rivation combinatoire \u00e9tablit qu\u2019en moyenne, pour tout \u00e9chantillon d\u2019apprentissage de dimension substantielle, une r\u00e9plique bootstrap n\u2019incorpore qu\u2019approximativement 63,2 %<\/strong> d\u2019individus distincts issus de la matrice source, chacun \u00e9tant r\u00e9p\u00e9t\u00e9 en moyenne selon une loi de Poisson de param\u00e8tre ( lambda = 1 ). Sym\u00e9triquement, environ 36,8 %<\/strong> des observations originelles sont purement et simplement d\u00e9laiss\u00e9es lors de chaque it\u00e9ration d\u2019\u00e9chantillonnage. Ce sous-ensemble r\u00e9current d\u2019individus exclus, loin de constituer une perte informationnelle, constitue la pierre angulaire de la validation interne des mod\u00e8les ensemblistes, formalis\u00e9e sous le concept d’\u00e9chantillons Out-Of-Bag<\/em>.<\/p>\n Constatant d\u2019une part que les arbres de d\u00e9cision poss\u00e8dent une expressivit\u00e9 non lin\u00e9aire remarquable assortie d\u2019un biais intrins\u00e8que minime, et d\u2019autre part que leur instabilit\u00e9 stochastique engendre une variance pr\u00e9dictive n\u00e9faste, Leo Breiman publia en 1996 un article fondateur intitul\u00e9 \u00ab Bagging Predictors \u00bb<\/em>. Il y formalise le concept de Bootstrap Aggregating<\/strong>, une m\u00e9ta-m\u00e9thodologie algorithmique destin\u00e9e \u00e0 m\u00e9tamorphoser des pr\u00e9dicteurs instables en pr\u00e9dicteurs hautement fiables et robustes gr\u00e2ce \u00e0 la cr\u00e9ation d\u00e9lib\u00e9r\u00e9e de diversit\u00e9 statistique suivie d\u2019une consolidation collective.<\/p>\n Le protocole op\u00e9ratoire du Bagging se d\u00e9ploie selon une s\u00e9quence parfaitement modulaire. Soit une matrice de donn\u00e9es initiale compos\u00e9e de ( n ) couples d\u2019observations associant un vecteur de descripteurs \u00e0 une variable cible. L\u2019algorithme proc\u00e8de en premier lieu \u00e0 la g\u00e9n\u00e9ration stochastique de ( B ) r\u00e9pliques bootstrap distinctes et ind\u00e9pendantes, chacune dot\u00e9e d\u2019une taille strictement \u00e9gale \u00e0 ( n ), obtenues par tirage avec remise conform\u00e9ment aux r\u00e8gles combinatoires explicit\u00e9es pr\u00e9c\u00e9demment.<\/p>\n Dans un second temps, l\u2019algorithme ajuste de mani\u00e8re strictement ind\u00e9pendante un estimateur de base (d\u00e9sign\u00e9 en terminologie sp\u00e9cialis\u00e9e sous le vocable de base learner<\/em> ou d’apprenant \u00e9l\u00e9mentaire) sur chacune des ( B ) r\u00e9pliques bootstrap. La consigne m\u00e9thodologique primordiale \u00e9dict\u00e9e par Breiman est de ne soumettre ces estimateurs de base \u2014 g\u00e9n\u00e9ralement des arbres CART \u2014 \u00e0 aucune contrainte d\u2019\u00e9lagage s\u00e9v\u00e8re. On laisse d\u00e9lib\u00e9r\u00e9ment cro\u00eetre des arbres tr\u00e8s profonds afin de garantir que chaque mod\u00e8le individuel poss\u00e8de un biais d\u2019ajustement infinit\u00e9simal. Enfin, les ( B ) mod\u00e8les entra\u00een\u00e9s sont rassembl\u00e9s au sein d\u2019un coll\u00e8ge d\u00e9cisionnel ensembliste dont la sortie collective est synth\u00e9tis\u00e9e par une fonction d\u2019agr\u00e9gation d\u00e9terministe.<\/p>\n L\u2019assise math\u00e9matique qui consacre la sup\u00e9riorit\u00e9 du Bagging r\u00e9side dans la loi de composition des variances statistiques appliqu\u00e9es \u00e0 des combinaisons lin\u00e9aires d\u2019estimateurs. Pour en expliciter la dynamique \u00e9l\u00e9gante, consid\u00e9rons un ensemble de ( B ) estimateurs individuels de r\u00e9gression obtenus sur des \u00e9chantillons bootstrap, poss\u00e9dant chacun une variance th\u00e9orique identique ( sigma^2 ). Bien que calibr\u00e9s sur des pseudo-\u00e9chantillons distincts, ces estimateurs ne sont pas statistiquement ind\u00e9pendants, puisqu’ils proc\u00e8dent tous du m\u00eame jeu d’apprentissage matriciel d’origine. D\u00e9signons par ( rho ) le coefficient de corr\u00e9lation lin\u00e9aire par paire mesurant la d\u00e9pendance stochastique entre deux estimateurs quelconques de la collection.<\/p>\n L\u2019estimateur agr\u00e9g\u00e9 du Bagging est d\u00e9fini comme la moyenne arithm\u00e9tique continue des pr\u00e9dictions \u00e9mises par les ( B ) mod\u00e8les individuels. En mobilisant les propri\u00e9t\u00e9s fondamentales de l\u2019op\u00e9rateur de variance bilin\u00e9aire, la variance de cette moyenne empirique s\u2019\u00e9crit formellement comme suit :<\/p>\n [ operatorname{Var}left(frac{1}{B}sum_{b=1}^{B} hat{f}_b(x)right) = frac{1}{B^2} left( sum_{b=1}^B operatorname{Var}(hat{f}_b(x)) + sum_{b=1}^B sum_{j neq b} operatorname{Cov}(hat{f}_b(x), hat{f}_j(x)) right) ]<\/p>\n En substituant la variance unitaire ( sigma^2 ) et la covariance mutuelle ( operatorname{Cov}(hat{f}_b(x), hat{f}_j(x)) = rho sigma^2 ), l\u2019expression se simplifie analytiquement en une formule d\u2019une limpidit\u00e9 remarquable :<\/p>\n [ operatorname{Var}(hat{f}_{text{bag}}(x)) = rho sigma^2 + frac{1 – rho}{B} sigma^2 ]<\/p>\n Cette \u00e9galit\u00e9 met \u00e0 nu l\u2019ing\u00e9nierie interne du Bagging. Lorsque le nombre d\u2019estimateurs ensemblistes ( B ) s\u2019accro\u00eet et tend vers l\u2019infini, le second terme de la somme s’annihile asymptotiquement :<\/p>\n [ lim_{B to infty} frac{1 – rho}{B} sigma^2 = 0 ]<\/p>\n Il en r\u00e9sulte que la variance globale de l\u2019ensemble se contracte jusqu\u2019\u00e0 converger vers une borne incompressible d\u00e9finie par le produit de la variance intrins\u00e8que de l\u2019estimateur unitaire par le coefficient de corr\u00e9lation inter-arbres : ( rho sigma^2 ). Parall\u00e8lement, en vertu de la lin\u00e9arit\u00e9 de l\u2019esp\u00e9rance math\u00e9matique, l\u2019esp\u00e9rance de l\u2019agr\u00e9gat reste strictement \u00e9gale \u00e0 l\u2019esp\u00e9rance individuelle de chaque apprenant non biais\u00e9. Le Bagging accomplit ainsi l’exploit de pr\u00e9server l\u2019excellence du biais initial tout en divisant la variance par un facteur directement proportionnel \u00e0 l’ind\u00e9pendance des mod\u00e8les individuels.<\/p>\n Pour illustrer avec nettet\u00e9 la chronologie d\u2019ex\u00e9cution au sein d\u2019un environnement de calcul, d\u00e9crivons la logique s\u00e9quentielle r\u00e9gissant le pipeline de calcul du Bagging sous une forme narrative rigoureuse :<\/p>\n Le protocole algorithmique s\u2019initialise par la r\u00e9ception d\u2019une matrice de descripteurs de dimensions ( n times p ) et d\u2019un vecteur de r\u00e9ponses cibles de longueur ( n ). Deux hyperparam\u00e8tres cardinaux sont fix\u00e9s a priori par l\u2019op\u00e9rateur : la cardinalit\u00e9 de l\u2019ensemble, not\u00e9e ( B ), repr\u00e9sentant le nombre d\u2019it\u00e9rations d\u2019\u00e9chantillonnage, et la configuration structurelle des arbres de base (notamment l\u2019absence d\u2019\u00e9lagage ou la d\u00e9finition d\u2019un seuil plancher d\u2019observations par feuille terminale).<\/p>\n L\u2019algorithme enclenche ensuite une boucle it\u00e9rative cadenc\u00e9e de ( b = 1 ) jusqu\u2019\u00e0 ( B ). \u00c0 chaque it\u00e9ration, un g\u00e9n\u00e9rateur de nombres pseudo-al\u00e9atoires ex\u00e9cute un tirage uniforme avec remise de ( n ) indices compris dans l\u2019intervalle unitaire de l\u2019ensemble d\u2019apprentissage originel, \u00e9rigeant ainsi le sous-ensemble bootstrap ( mathcal{D}_b^* ). Imm\u00e9diatement apr\u00e8s cette extraction, l\u2019algorithme instancie un arbre de d\u00e9cision non contraint et proc\u00e8de \u00e0 son entra\u00eenement d\u00e9terministe exclusif sur la partition ( mathcal{D}_b^* ), optimisant les scissions selon les crit\u00e8res d\u2019impuret\u00e9 canoniques jusqu\u2019\u00e0 saturation des conditions terminales. Le mod\u00e8le r\u00e9sultant, d\u00e9not\u00e9 ( hat{f}^{*b} ), est consign\u00e9 dans une structure de donn\u00e9es s\u00e9rialis\u00e9e.<\/p>\n Une fois la boucle \u00e9puis\u00e9e et les ( B ) estimateurs compil\u00e9s en m\u00e9moire vive, le pipeline active sa phase d\u2019inf\u00e9rence pr\u00e9dictive. Pour tout nouveau point de test se pr\u00e9sentant sous la forme d\u2019un vecteur de caract\u00e9ristiques non labellis\u00e9, le pipeline propage ce vecteur simultan\u00e9ment \u00e0 travers les ramifications d\u00e9cisionnelles des ( B ) mod\u00e8les distincts. Les ( B ) sorties ponctuelles obtenues sont ensuite transmises \u00e0 une fonction de consolidation unifi\u00e9e qui renvoie l\u2019estimation finale agr\u00e9g\u00e9e, mat\u00e9rialisant ainsi la d\u00e9cision conjointe de l\u2019ensemble.<\/p>\n Dans le domaine de l\u2019apprentissage supervis\u00e9 continu, le Bagging op\u00e8re une synth\u00e8se fonctionnelle d\u2019une remarquable \u00e9l\u00e9gance math\u00e9matique. Soit une fonction de r\u00e9gression multivari\u00e9e que l\u2019on cherche \u00e0 approcher. Chaque estimateur arborescent calibr\u00e9 sur la r\u00e9plique bootstrap ( b ) partitionne l\u2019espace dimensionnel en un ensemble de r\u00e9gions mutuellement exclusives et assigne \u00e0 chacune une constante locale. L\u2019estimateur agr\u00e9g\u00e9 du Bagging pour une observation nouvelle se formalise rigoureusement sous la forme de l\u2019esp\u00e9rance empirique discr\u00e8te des sorties quantitatives produites par l’ensemble des pr\u00e9dicteurs unitaires :<\/p>\n [ hat{f}_{text{bag}}(x) = frac{1}{B} sum_{b=1}^{B} hat{f}^{*b}(x) ]<\/p>\n Cette simple formulation arithm\u00e9tique rec\u00e8le des implications g\u00e9om\u00e9triques profondes. Un arbre de r\u00e9gression CART unique g\u00e9n\u00e8re par d\u00e9finition une fonction pr\u00e9dictive discontinue, caract\u00e9ris\u00e9e par une topologie par paliers (ou marches d\u2019escalier). Dans les zones de transition spatiale entre deux feuilles adjacentes, de minuscules variations le long d\u2019une dimension d\u2019entr\u00e9e peuvent provoquer des sauts discrets abrupts de la valeur pr\u00e9dite. En superposant et en moyennant ( B ) surfaces de partitionnement disjointes, dont les seuils orthogonaux de d\u00e9coupage diff\u00e8rent stochastiquement d\u2019une it\u00e9ration bootstrap \u00e0 l\u2019autre, le Bagging op\u00e8re un lissage spatial<\/strong> des discontinuit\u00e9s.<\/p>\n La fonction par paliers heurt\u00e9e et rigide inh\u00e9rente \u00e0 l’arbre singulier s\u2019efface au profit d\u2019une surface d\u2019approximation piecewise lin\u00e9aire hautement nuanc\u00e9e et quasi continue. Ce lissage spatial permet d\u2019approcher les courbures intrins\u00e8ques des v\u00e9ritables surfaces de r\u00e9gression sous-jacentes avec une fid\u00e9lit\u00e9 inaccessible aux mod\u00e8les discrets \u00e9l\u00e9mentaires. En outre, au fur et \u00e0 mesure que la cardinalit\u00e9 ( B ) progresse vers des valeurs asymptotiques, la loi forte des grands nombres garantit que l’estimateur agr\u00e9g\u00e9 stabilise son esp\u00e9rance conditionnelle, \u00e9liminant d\u00e9finitivement les oscillations parasites caus\u00e9es par les fluctuations stochastiques propres aux arbres individuels.<\/p>\n Afin de mat\u00e9rialiser empiriquement l\u2019efficacit\u00e9 pr\u00e9dictive du Bagging appliqu\u00e9 \u00e0 la r\u00e9gression, examinons une \u00e9tude de cas portant sur la mod\u00e9lisation macro\u00e9conomique de la volatilit\u00e9 financi\u00e8re ou l’\u00e9valuation de prix fonciers au sein d’une m\u00e9tropole dense. Ce type de probl\u00e9matique confronte le statisticien \u00e0 des ph\u00e9nom\u00e8nes r\u00e9gis par de multiples interactions non lin\u00e9aires s\u00e9v\u00e8res, telles que des effets conjoints de localisation g\u00e9ographique, de superficie, de prox\u00e9mie aux infrastructures de transport et d’indicateurs macro\u00e9conomiques conjoncturels, le tout pollu\u00e9 par des chocs exog\u00e8nes extr\u00eames.<\/p>\n Lorsqu\u2019un arbre CART unitaire est ajust\u00e9 sur ce jeu de donn\u00e9es sans restriction sur sa profondeur, l\u2019analyse des r\u00e9sidus de pr\u00e9diction r\u00e9v\u00e8le des pathologies classiques. Bien que l’erreur quadratique moyenne calcul\u00e9e sur les donn\u00e9es d\u2019entra\u00eenement soit virtuellement nulle (refl\u00e9tant une m\u00e9morisation parfaite des observations historiques), la dispersion r\u00e9siduelle \u00e9valu\u00e9e sur un \u00e9chantillon de test ind\u00e9pendant explose. L\u2019arbre isole des valeurs atypiques dans des feuilles exigu\u00ebs compos\u00e9es d’une ou deux transactions singuli\u00e8res, \u00e9rigeant des \u00eelots pr\u00e9dictifs absurdes d\u00e9connect\u00e9s de la tendance \u00e9conomique globale.<\/p>\n Le d\u00e9ploiement d\u2019un ensemble de Bagging constitu\u00e9 de plusieurs centaines d\u2019arbres profonds inverse spectaculairement cette dynamique d\u00e9faillante. La dispersion des r\u00e9sidus hors \u00e9chantillon subit une contraction massive, mat\u00e9rialis\u00e9e par une r\u00e9duction substantielle de l\u2019erreur quadratique moyenne de test pouvant fr\u00e9quemment exc\u00e9der 20 \u00e0 40 % par rapport \u00e0 l’arbre de d\u00e9cision unique optimalement \u00e9lagu\u00e9. Les valeurs aberrantes, dilu\u00e9es par le processus d’\u00e9chantillonnage bootstrap dans seulement un sous-ensemble marginal d’arbres, perdent leur pouvoir de nuisance : leur influence locale est neutralis\u00e9e lors de l’agr\u00e9gation arithm\u00e9tique par la majorit\u00e9 saine des autres estimateurs, conf\u00e9rant au mod\u00e8le agr\u00e9g\u00e9 une r\u00e9silience exceptionnelle.<\/p>\n Lorsque le Bagging est transpos\u00e9 \u00e0 des t\u00e2ches de discrimination cat\u00e9gorielle polytomique, o\u00f9 l\u2019objectif est d\u2019affecter une observation \u00e0 l’une des ( K ) classes qualitatives discr\u00e8tes envisageables, la strat\u00e9gie d\u2019int\u00e9gration canonique th\u00e9oris\u00e9e par Breiman repose sur la logique du vote majoritaire<\/strong>, fr\u00e9quemment d\u00e9sign\u00e9 dans la litt\u00e9rature sous l’anglicisme de Hard Voting<\/em>. Dans cette configuration, chaque arbre de base non \u00e9lagu\u00e9 op\u00e8re en tant que classifieur binaire ou multiclasse absolu, \u00e9mettant une d\u00e9cision univoque d\u2019appartenance cat\u00e9gorielle.<\/p>\n Math\u00e9matiquement, soit ( hat{C}_b(x) in {1, 2, dots, K} ) la classe nominale assign\u00e9e par le ( b )-i\u00e8me arbre \u00e9l\u00e9mentaire au point de test ( x ). L\u2019affectation finale arr\u00eat\u00e9e par l\u2019agr\u00e9gat de Bagging d\u00e9coule de l\u2019\u00e9valuation de la fonction indicatrice somm\u00e9 sur l\u2019ensemble des apprenants, attribuant l’observation \u00e0 la modalit\u00e9 qui recueille la pluralit\u00e9 stricte des suffrages :<\/p>\n [ hat{C}_{text{bag}}(x) = underset{k in {1, dots, K}}{operatorname{argmax}} sum_{b=1}^{B} mathbb{I}(hat{C}_b(x) = k) ]<\/p>\n Dans l\u2019hypoth\u00e8se op\u00e9rationnelle o\u00f9 une situation de parit\u00e9 arithm\u00e9tique survient (sc\u00e9nario de tie-breaking<\/em>), notamment dans les cadres binaires dot\u00e9s d\u2019un param\u00e8tre ( B ) pair ou dans les espaces polytomiques complexes, des r\u00e8gles d\u00e9terministes d\u2019arbitrage doivent \u00eatre sp\u00e9cifi\u00e9es a priori. Celles-ci consistent g\u00e9n\u00e9ralement soit en une rupture al\u00e9atoire uniforme de l\u2019\u00e9galit\u00e9, soit en une pr\u00e9s\u00e9ance accord\u00e9e \u00e0 la classe pr\u00e9sentant la pr\u00e9valence empirique la plus \u00e9lev\u00e9e au sein de la population d\u2019apprentissage originale.<\/p>\n Bien que robuste et intuitivement s\u00e9duisante, la modalit\u00e9 du vote majoritaire rigide comporte une limite conceptuelle indiscutable : elle postule une \u00e9quivalence absolue entre l\u2019ensemble des votes exprim\u00e9s. Un arbre qui affecterait une observation \u00e0 une classe donn\u00e9e avec une certitude absolue se voit octroyer un poids strictement identique \u00e0 celui d’un arbre dont la feuille terminale contiendrait une distribution quasi \u00e9quiproquable. Cette c\u00e9cit\u00e9 vis-\u00e0-vis des degr\u00e9s de certitude intrins\u00e8ques des mod\u00e8les \u00e9l\u00e9mentaires peut occasionner des erreurs de classification aux fronti\u00e8res de d\u00e9cision hautement comp\u00e9titives.<\/p>\n Pour pallier les insuffisances inh\u00e9rentes au vote majoritaire rigide, la pratique moderne de l’apprentissage statistique privil\u00e9gie tr\u00e8s largement le recours au vote probabiliste pond\u00e9r\u00e9, couramment d\u00e9sign\u00e9 sous le terme de Soft Voting<\/strong>. Cette approche repose sur l’exploitation des distributions de fr\u00e9quences relatives observ\u00e9es au sein des feuilles terminales de chaque arbre CART, appr\u00e9hend\u00e9es comme des estimations non param\u00e9triques des probabilit\u00e9s a posteriori conditionnelles de Bayes.<\/p>\n Pour un vecteur d\u2019entr\u00e9e donn\u00e9, chaque arbre individuel renvoie un vecteur stochastique dont la ( k )-i\u00e8me composante quantifie la proportion empirique d\u2019individus appartenant \u00e0 la modalit\u00e9 ( k ) dans la r\u00e9gion terminale activ\u00e9e. Le pr\u00e9dicteur agr\u00e9g\u00e9 de Bagging proc\u00e8de alors au calcul de la moyenne arithm\u00e9tique vectorielle de ces distributions de probabilit\u00e9s conditionnelles \u00e0 travers l’ensemble des ( B ) mod\u00e8les \u00e9l\u00e9mentaires :<\/p>\n [ hat{P}_{text{bag}}(Y = k mid x) = frac{1}{B} sum_{b=1}^{B} hat{P}^{*b}(Y = k mid x) ]<\/p>\n L\u2019assignation finale de la classe s’effectue ensuite par application de la r\u00e8gle d’affectation bay\u00e9sienne standard consistant \u00e0 choisir la classe maximisant cette esp\u00e9rance probabiliste agr\u00e9g\u00e9e. Cette m\u00e9thodologie pr\u00e9sente une sup\u00e9riorit\u00e9 structurelle indiscutable. En premier lieu, elle assure une bien meilleure calibration des probabilit\u00e9s de classe finales, ce qui est capital pour les applications industrielles requ\u00e9rant une hi\u00e9rarchisation fine du risque (comme la d\u00e9tection de fraudes ou la tarification assurantielle). En second lieu, sur le plan g\u00e9om\u00e9trique, l’int\u00e9gration des scores continus permet de g\u00e9n\u00e9rer des surfaces de s\u00e9paration multidimensionnelles infiniment plus lisses et nuanc\u00e9es que les cloisons abruptes et disjointes impos\u00e9es par les discontinuit\u00e9s du vote majoritaire dur.<\/p>\n L\u2019une des vertus statistiques et computationnelles les plus \u00e9l\u00e9gantes du Bagging r\u00e9side dans son protocole d\u2019auto-\u00e9valuation interne int\u00e9gr\u00e9, universellement d\u00e9sign\u00e9 sous le vocable d\u2019\u00e9valuation Out-Of-Bag (OOB)<\/strong> ou \u00ab hors sac \u00bb. Comme \u00e9tabli pr\u00e9c\u00e9demment lors de l\u2019analyse combinatoire du bootstrap non param\u00e9trique, chaque arbre individuel entra\u00een\u00e9 sur un \u00e9chantillon de taille ( n ) avec remise ne voit qu\u2019environ 63,2 % des observations distinctes composant le jeu d\u2019apprentissage source. R\u00e9ciproquement, chaque observation individuelle du corpus se trouve statistiquement exclue de l’\u00e9chantillon d\u2019apprentissage d\u2019environ 36,8 % des arbres de la collection globale.<\/p>\n Cette propri\u00e9t\u00e9 stochastique permet de construire, sans mobiliser le moindre jeu de validation externe, un estimateur d\u2019\u00e9valuation de la performance pr\u00e9dictive rigoureusement non biais\u00e9. Pour chaque observation ( (x_i, y_i) ) pr\u00e9sente dans le jeu de donn\u00e9es d’origine, on identifie l’ensemble des sous-mod\u00e8les \u00e9l\u00e9mentaires pour lesquels cette observation particuli\u00e8re n’a pas \u00e9t\u00e9 incluse dans la partition bootstrap d\u2019entra\u00eenement. Cet ensemble d\u2019indices est d\u00e9sign\u00e9 comme le coll\u00e8ge d\u2019arbres hors sac de l\u2019observation ( i ).<\/p>\n Le pr\u00e9dicteur OOB associ\u00e9 \u00e0 l’individu ( i ), not\u00e9 ( hat{f}_{text{OOB}}(x_i) ), est alors formul\u00e9 en restreignant strictement l\u2019agr\u00e9gation aux seuls mod\u00e8les constituant son coll\u00e8ge hors sac sp\u00e9cifique :<\/p>\n [ hat{f}_{text{OOB}}(x_i) = frac{1}{sum_{b=1}^B mathbb{I}(i notin mathcal{D}_b^*)} sum_{b: i notin mathcal{D}_b^*} hat{f}^{*b}(x_i) ]<\/p>\n Puisque aucun des arbres participant \u00e0 cette pr\u00e9diction locale n’a eu acc\u00e8s \u00e0 l\u2019observation ( i ) durant sa phase d\u2019ajustement, la sortie pr\u00e9dite est parfaitement int\u00e8gre vis-\u00e0-vis du risque de contamination d\u2019information (data leakage<\/em>). L\u2019erreur globale OOB est ensuite obtenue en calculant la moyenne de la perte empirique calcul\u00e9e sur les ( n ) observations. Des d\u00e9monstrations math\u00e9matiques formelles ont prouv\u00e9 que cette m\u00e9trique converge asymptotiquement vers une estimation rigoureusement sans biais de l\u2019erreur de g\u00e9n\u00e9ralisation du mod\u00e8le ensembliste complet.<\/p>\n L\u2019existence de l\u2019estimateur OOB transforme radicalement le protocole exp\u00e9rimental de s\u00e9lection et d\u2019\u00e9valuation des mod\u00e8les en apprentissage automatique. Dans le cadre conventionnel de la mod\u00e9lisation statistique, l’estimation objective du risque pr\u00e9dictif hors \u00e9chantillon requiert la mise en \u0153uvre d’une proc\u00e9dure de validation crois\u00e9e \u00e0 k blocs (k-fold cross-validation)<\/a>. Or, cette derni\u00e8re impose une p\u00e9nalit\u00e9 computationnelle particuli\u00e8rement on\u00e9reuse : pour \u00e9valuer un mod\u00e8le avec une validation crois\u00e9e \u00e0 10 blocs, il est n\u00e9cessaire de r\u00e9p\u00e9ter l’int\u00e9gralit\u00e9 du cycle d’apprentissage \u00e0 dix reprises sur 90 % des donn\u00e9es, multipliant d\u2019autant l\u2019empreinte carbone et la dur\u00e9e de calcul du pipeline.<\/p>\n \u00c0 l’inverse, l\u2019\u00e9valuation OOB est obtenue de mani\u00e8re concomitante et gratuite durant la passe unique d\u2019ajustement de l\u2019ensemble de Bagging. D\u00e8s lors que le nombre d\u2019estimateurs ( B ) est raisonnablement dimensionn\u00e9 (g\u00e9n\u00e9ralement ( B ge 200 )), chaque observation originale dispose d\u2019un effectif suffisant d\u2019arbres hors sac pour stabiliser son estimation locale. Des travaux empiriques et th\u00e9oriques de premier plan ont d\u00e9montr\u00e9 que l’estimation d’erreur d\u00e9livr\u00e9e par le score OOB est asymptotiquement \u00e9quivalente \u00e0 celle d’une validation crois\u00e9e exhaustive de type Leave-One-Out<\/em>, tout en \u00e9radiquant son co\u00fbt computationnel prohibitif.<\/p>\n Il convient n\u00e9anmoins de circonscrire les fronti\u00e8res de validit\u00e9 statistique de cette \u00e9quivalence. Sur des corpus de donn\u00e9es caract\u00e9ris\u00e9s par un volume d’observations extr\u00eamement t\u00e9nu (( n < 50 )), la variance d\u2019\u00e9chantillonnage inh\u00e9rente au tirage bootstrap peut faire fluctuer la repr\u00e9sentativit\u00e9 des ensembles OOB. De m\u00eame, en pr\u00e9sence d'une structure de corr\u00e9lation temporelle, spatiale ou hi\u00e9rarchique au sein des donn\u00e9es, le tirage i.i.d. conventionnel du bootstrap est mis en d\u00e9faut, rendant l'erreur OOB artificiellement optimiste en l'absence de protocoles de r\u00e9\u00e9chantillonnage par blocs adapt\u00e9s.<\/p>\n L\u2019accroissement spectaculaire de l’exactitude pr\u00e9dictive obtenu par le d\u00e9ploiement du Bagging s\u2019accompagne d\u2019un co\u00fbt \u00e9pist\u00e9mologique s\u00e9v\u00e8re : la perte irr\u00e9versible de l’interpr\u00e9tabilit\u00e9 g\u00e9om\u00e9trique directe qui conf\u00e9rait aux arbres CART leur attrait originel. Alors qu\u2019un arbre de d\u00e9cision singulier peut \u00eatre commod\u00e9ment visualis\u00e9 sous la forme d’un graphe orient\u00e9 acyclique inspectable, o\u00f9 chaque n\u0153ud explicite une r\u00e8gle de s\u00e9gr\u00e9gation binaire univoque, l’agr\u00e9gation de centaines d’arbres d\u00e9ploie une fonctionnelle opaque au sein d’un espace multidimensionnel discontinu. Le mod\u00e8le bascule irr\u00e9m\u00e9diablement dans la cat\u00e9gorie des algorithmes dits de \u00ab bo\u00eete noire \u00bb.<\/p>\n Il est rigoureusement impossible de synth\u00e9tiser la d\u00e9cision coll\u00e9giale issue d\u2019une for\u00eat d’estimateurs en une structure arborescente unique \u00e9quivalente. Deux arbres form\u00e9s sur des r\u00e9pliques bootstrap distinctes peuvent adopter des segmentations spatiales contradictoires au sommet tout en d\u00e9livrant des pr\u00e9dictions conjointes harmonieuses. Cette opacit\u00e9 structurelle pose des d\u00e9fis critiques en mati\u00e8re d’auditabilit\u00e9 algorithmique, de tra\u00e7abilit\u00e9 des d\u00e9cisions et de conformit\u00e9 r\u00e9glementaire. Dans le cadre de l\u00e9gislations exigeantes telles que le R\u00e8glement G\u00e9n\u00e9ral sur la Protection des Donn\u00e9es (RGPD) en Europe ou les directives encadrant l’Intelligence Artificielle, le \u00ab droit \u00e0 l’explication \u00bb accord\u00e9 aux justiciables et aux consommateurs exige des justifications causales explicites que le Bagging brut est organiquement incapable de formuler sans le recours \u00e0 des couches interpr\u00e9tatives tierces.<\/p>\n Afin de restaurer la capacit\u00e9 d\u2019extraction de connaissances et de percer l’opacit\u00e9 inh\u00e9rente aux architectures agr\u00e9g\u00e9es, Breiman a d\u00e9velopp\u00e9 des m\u00e9triques statistiques permettant de quantifier l\u2019impact relatif de chaque variable explicative sur le comportement global de l\u2019ensemble. Deux m\u00e9thodologies pr\u00e9dominent au sein de la litt\u00e9rature sp\u00e9cialis\u00e9e.<\/p>\n La premi\u00e8re est l\u2019importance bas\u00e9e sur la diminution moyenne de l\u2019impuret\u00e9<\/strong> (MDI, pour Mean Decrease Impurity<\/em>). Cette heuristique comptabilise, pour chaque variable du jeu de donn\u00e9es, la somme cumul\u00e9e des gains d\u2019homog\u00e9n\u00e9it\u00e9 (r\u00e9duction de l\u2019indice de Gini en classification, ou diminution de la somme des erreurs au carr\u00e9 en r\u00e9gression) g\u00e9n\u00e9r\u00e9s par l\u2019ensemble des n\u0153uds o\u00f9 cette variable a \u00e9t\u00e9 s\u00e9lectionn\u00e9e pour op\u00e9rer une scission. Cette mesure est ensuite moyenn\u00e9e \u00e0 travers les ( B ) arbres de la collection. Bien que s\u00e9duisante par sa simplicit\u00e9 de calcul, cette m\u00e9trique est notoirement sujette \u00e0 un biais statistique document\u00e9 : elle favorise syst\u00e9matiquement les variables continues ou les descripteurs cat\u00e9goriels poss\u00e9dant une forte cardinalit\u00e9 (un nombre \u00e9lev\u00e9 de modalit\u00e9s distinctes), car ces attributs offrent m\u00e9caniquement un plus grand nombre de points de coupure potentiels au partitionnement glouton.<\/p>\n La seconde mesure, infiniment plus rigoureuse et robuste, est l\u2019importance par permutation OOB<\/strong> (MDA, pour Mean Decrease Accuracy<\/em>). Cette approche tire parti de la partition hors sac. Pour chaque arbre de l\u2019ensemble, l\u2019erreur de pr\u00e9diction est initialement \u00e9valu\u00e9e sur ses donn\u00e9es OOB int\u00e8gres. Puis, les valeurs de la variable candidate ( X_j ) sont m\u00e9lang\u00e9es de mani\u00e8re pseudo-al\u00e9atoire le long de l’axe des observations au sein de l’\u00e9chantillon OOB, rompant ainsi tout lien stochastique r\u00e9el entre cette covariable et la cible tout en pr\u00e9servant intacte sa distribution marginale. L\u2019\u00e9chantillon ainsi alt\u00e9r\u00e9 est repass\u00e9 \u00e0 travers l\u2019arbre, et la d\u00e9gradation de l\u2019exactitude pr\u00e9dictive est mesur\u00e9e. L\u2019importance par permutation de ( X_j ) correspond \u00e0 la moyenne normalis\u00e9e de ces augmentations d\u2019erreurs sur l\u2019ensemble des arbres. Une chute vertigineuse de performance apr\u00e8s permutation atteste d\u2019un r\u00f4le structural pr\u00e9pond\u00e9rant de la variable dans la pr\u00e9diction ensembliste.<\/p>\n L\u2019analyse th\u00e9orique de la formule de d\u00e9composition de variance d\u00e9montr\u00e9e \u00e0 la section 5.2 a mis en lumi\u00e8re que la limite asymptotique incompressible de la variance d\u2019un ensemble de Bagging est gouvern\u00e9e par le produit ( rho sigma^2 ), o\u00f9 ( rho ) d\u00e9signe le coefficient de corr\u00e9lation moyen existant entre deux arbres quelconques de la collection. Dans un sc\u00e9nario op\u00e9rationnel o\u00f9 le jeu de donn\u00e9es h\u00e9berge un pr\u00e9dicteur structurellement dominant \u2014 c\u2019est-\u00e0-dire une variable dont le pouvoir explicatif surpasse \u00e9crasamment celui de tous les autres descripteurs \u2014, un ph\u00e9nom\u00e8ne d\u00e9l\u00e9t\u00e8re survient in\u00e9vitablement : la quasi-totalit\u00e9 des arbres CART non contraints de la collection vont infailliblement s\u00e9lectionner ce descripteur h\u00e9g\u00e9monique lors de la premi\u00e8re scission au n\u0153ud racine.<\/p>\n Cette redondance syst\u00e9matique engendre une similarit\u00e9 topologique prononc\u00e9e entre l\u2019ensemble des arborescences de la collection. En d\u00e9pit de la stochasticit\u00e9 introduite par le r\u00e9\u00e9chantillonnage bootstrap, les arbres se ressemblent structurellement, ce qui induit un coefficient de corr\u00e9lation ( rho ) \u00e9lev\u00e9 qui bloque le potentiel de compression de la variance. C’est pr\u00e9cis\u00e9ment pour pulv\u00e9riser ce verrou statistique que Leo Breiman, en s’inspirant des travaux pionniers d’Amit et Geman ainsi que de Tin Kam Ho sur la m\u00e9thode des sous-espaces al\u00e9atoires, a formul\u00e9 en 2001 l’algorithme des For\u00eats Al\u00e9atoires<\/strong> (Random Forests<\/em>).<\/p>\n L\u2019innovation conceptuelle introduite par Breiman r\u00e9side dans l’injection d’un second niveau d’al\u00e9a, appliqu\u00e9 non plus seulement aux observations, mais directement \u00e0 l’espace vectoriel des descripteurs \u00e0 chaque \u00e9tape du partitionnement r\u00e9cursif. Lors de la division d’un n\u0153ud quelconque au sein d’une for\u00eat al\u00e9atoire, l’algorithme s’interdit d’\u00e9valuer l’int\u00e9gralit\u00e9 des ( p ) variables disponibles. Il proc\u00e8de au tirage al\u00e9atoire uniforme d’un sous-ensemble restreint de variables, dont la taille est conventionnellement fix\u00e9e \u00e0 ( lfloor sqrt{p} rfloor ) pour la classification et \u00e0 ( lfloor p\/3 rfloor ) pour la r\u00e9gression, et d\u00e9termine la scission optimale exclusivement parmi ce sous-ensemble r\u00e9duit. Cette contrainte force les arbres \u00e0 explorer des trajectoires de division h\u00e9t\u00e9rodoxes et alternatives, diminuant drastiquement la corr\u00e9lation inter-arbres ( rho ), ce qui permet une contraction de la variance globale inaccessible au Bagging standard.<\/p>\n Dans la taxonomie de l\u2019apprentissage ensembliste, le Bagging et le Boosting incarnent deux philosophies computationnelles et math\u00e9matiques radicalement divergentes, presque orthogonales, bien que toutes deux d\u00e9volues \u00e0 l\u2019optimisation de l\u2019erreur de g\u00e9n\u00e9ralisation :<\/p>\n Le Bagging<\/strong> constitue une m\u00e9thodologie intrins\u00e8quement parall\u00e8le<\/strong>. Les apprenants de base sont form\u00e9s de mani\u00e8re totalement ind\u00e9pendante les uns des autres sur des r\u00e9pliques stochastiques cr\u00e9\u00e9es a priori. La strat\u00e9gie sous-jacente consiste \u00e0 mobiliser des mod\u00e8les caract\u00e9ris\u00e9s par une complexit\u00e9 structurelle maximale (arbres profonds non r\u00e9gularis\u00e9s), dot\u00e9s d’un tr\u00e8s faible biais mais d’une forte variance, et \u00e0 exploiter la moyenne collective pour \u00e9radiquer cette variance parasite sans d\u00e9grader le biais initial.<\/p>\n \u00c0 l\u2019oppos\u00e9, le Boosting<\/strong> \u2014 initi\u00e9 par Robert Schapire et Yoav Freund avec AdaBoost en 1997<\/a>, puis g\u00e9n\u00e9ralis\u00e9 par Jerome Friedman sous le formalisme du Gradient Boosting en 2001<\/a> \u2014 op\u00e8re selon une cin\u00e9matique strictement s\u00e9quentielle<\/strong> et adaptative. Les mod\u00e8les de base ne sont pas form\u00e9s en parall\u00e8le mais \u00e0 la cha\u00eene. Chaque nouvel estimateur introduit au sein de la structure est explicitement optimis\u00e9 pour corriger les erreurs r\u00e9siduelles commises par la combinaison des mod\u00e8les ant\u00e9rieurs. Les apprenants mobilis\u00e9s en Boosting sont des mod\u00e8les volontairement rudimentaires et rigides (souvent des arbres r\u00e9duits \u00e0 une seule scission, appel\u00e9s decision stumps<\/em>), pr\u00e9sentant un biais initial tr\u00e8s \u00e9lev\u00e9 mais une faible variance.<\/p>\n Cette divergence architecturale dicte des comportements op\u00e9rationnels diam\u00e9tralement oppos\u00e9s. Le Bagging est une proc\u00e9dure exceptionnellement tol\u00e9rante au bruit d’\u00e9tiquetage et aux donn\u00e9es aberrantes, car la moyenne dilue les artefacts stochastiques isol\u00e9s. De plus, il est structurellement immunis\u00e9 contre le surapprentissage par ajout d’arbres suppl\u00e9mentaires. Le Boosting, en revanche, en s’acharnant s\u00e9quentiellement \u00e0 rectifier les observations les plus difficiles, manifeste une vuln\u00e9rabilit\u00e9 extr\u00eame au surapprentissage en pr\u00e9sence de bruit al\u00e9atoire mal \u00e9tiquet\u00e9, focalisant son attention sur des aberrations exp\u00e9rimentales irr\u00e9ductibles.<\/p>\n Bien que le Bagging soit souvent c\u00e9l\u00e9br\u00e9 par les praticiens pour son caract\u00e8re remarquablement robuste et sa relative insensibilit\u00e9 au d\u00e9r\u00e8glement de ses param\u00e8tres (faisant de lui une m\u00e9thode hautement op\u00e9rationnelle \u00ab sur \u00e9tag\u00e8re \u00bb), l\u2019obtention d\u2019une performance statistique optimale requiert un calibrage m\u00e9ticuleux d’un ensemble de param\u00e8tres structurels cl\u00e9s.<\/p>\n Le premier param\u00e8tre d\u00e9cisionnel r\u00e9side dans le calibrage de la cardinalit\u00e9 de l’ensemble, c\u2019est-\u00e0-dire le nombre d\u2019arbres ( B )<\/strong> \u00e0 injecter dans l’agr\u00e9gat. Contrairement aux mod\u00e8les de type r\u00e9seaux de neurones ou algorithmes de Boosting o\u00f9 un nombre excessif d’it\u00e9rations induit un surapprentissage d\u00e9vastateur, l’augmentation de ( B ) dans le Bagging ne pr\u00e9sente aucun risque de d\u00e9gradation de l’erreur de g\u00e9n\u00e9ralisation. En vertu de la loi des grands nombres, l’erreur converge vers une asymptote plane stable. D\u00e8s lors, le choix de ( B ) r\u00e9sulte d’un arbitrage pragmatique entre les rendements d\u00e9croissants de la pr\u00e9cision statistique et l’explosion du co\u00fbt computationnel en temps de calcul et en m\u00e9moire vive. En pratique, des valeurs oscillant entre 100 et 500 estimateurs se r\u00e9v\u00e8lent amplement suffisantes pour saturer la r\u00e9duction de variance sur la plupart des jeux de donn\u00e9es tabulaires usuels.<\/p>\n Le second axe de param\u00e9trage concerne le contr\u00f4le de la topologie individuelle des apprenants de base<\/strong>. Si la th\u00e9orie classique prescrit de laisser cro\u00eetre les arbres jusqu\u2019\u00e0 puret\u00e9 totale, la pr\u00e9sence d\u2019un bruit exp\u00e9rimental massif peut justifier l\u2019introduction de contraintes l\u00e9g\u00e8res de r\u00e9gularisation, telles qu\u2019un effectif minimal d’\u00e9chantillons par feuille (min_samples_leaf<\/em>) ou un seuil d\u2019arr\u00eat de scission (min_samples_split<\/em>), afin d’\u00e9viter que des feuilles individuelles ne mod\u00e9lisent des singularit\u00e9s num\u00e9riques extr\u00eames.<\/p>\n Enfin, une variante architecturale notable r\u00e9side dans l’alternative entre le Bagging conventionnel<\/strong> (\u00e9chantillonnage avec remise de taille ( n )) et le Pasting<\/strong> (\u00e9chantillonnage sans remise de sous-ensembles de taille ( m < n )), th\u00e9oris\u00e9 par Leo Breiman en 1999. Le Pasting s\u2019av\u00e8re particuli\u00e8rement pertinent lors du traitement de corpus volumineux o\u00f9 la saturation de la m\u00e9moire vive emp\u00eache l\u2019instanciation r\u00e9p\u00e9t\u00e9e de matrices de taille int\u00e9grale, apportant une diversification stochastique comp\u00e9titive tout en acc\u00e9l\u00e9rant les temps d'entra\u00eenement.<\/p>\n Sur le plan de l\u2019ing\u00e9nierie logicielle et du calcul intensif, l\u2019architecture du Bagging pr\u00e9sente une propri\u00e9t\u00e9 algorithmique hautement convoit\u00e9e : elle est intrins\u00e8quement et impeccablement parall\u00e9lisable<\/strong> (propri\u00e9t\u00e9 qualifi\u00e9e dans le lexique acad\u00e9mique d’architecture embarrassingly parallel<\/em>). En effet, l\u2019entra\u00eenement de l\u2019estimateur ( hat{f}^{*b} ) ne requiert \u00e0 aucun moment l\u2019acc\u00e8s \u00e0 l\u2019\u00e9tat interne, aux pr\u00e9dictions ou aux gradients de l\u2019estimateur ( hat{f}^{*j} ) pour ( j neq b ). L\u2019ensemble des ( B ) processus d\u2019ajustement peuvent d\u00e8s lors \u00eatre distribu\u00e9s simultan\u00e9ment sur une multiplicit\u00e9 de c\u0153urs de calcul, de processeurs graphiques ou de n\u0153uds au sein d\u2019un cluster informatique sans n\u00e9cessiter de synchronisation interm\u00e9diaire.<\/p>\n Cette totale ind\u00e9pendance se heurte n\u00e9anmoins \u00e0 un goulot d’\u00e9tranglement mat\u00e9riel non n\u00e9gligeable : l’empreinte en m\u00e9moire vive (RAM)<\/strong>. Conserver en m\u00e9moire plusieurs centaines d\u2019arbres d\u00e9cisionnels CART compl\u00e8tement d\u00e9velopp\u00e9s, dont chacun h\u00e9berge des milliers de n\u0153uds d\u00e9cisionnels, de vecteurs de seuils et de distributions probabilistes locales, peut rapidement saturer les capacit\u00e9s mat\u00e9rielles lors du passage \u00e0 l’\u00e9chelle sur des jeux de donn\u00e9es comportant des dizaines de millions de lignes. Lors de la phase de pr\u00e9diction, l’obligation d’interroger s\u00e9quentiellement ou concurremment l\u2019int\u00e9gralit\u00e9 de ces structures s\u00e9rialis\u00e9es induit une latence d\u2019inf\u00e9rence notable, difficilement compatible avec les contraintes temporelles ultra-strictes des syst\u00e8mes de n\u00e9gociation \u00e0 haute fr\u00e9quence ou des moteurs de recommandation en temps r\u00e9el milliseconde.<\/p>\n Pour contourner ces limites mat\u00e9rielles dans les environnements distribu\u00e9s \u00e0 tr\u00e8s grande \u00e9chelle (\u00e0 l\u2019instar des architectures Apache Spark), des strat\u00e9gies de distribution sp\u00e9cifiques sont d\u00e9ploy\u00e9es. Elles consistent \u00e0 partitionner horizontalement les blocs de donn\u00e9es, \u00e0 ajuster des sous-ensembles de Bagging sur chaque machine n\u0153ud, puis \u00e0 concat\u00e9ner les coll\u00e8ges de pr\u00e9diction au sein d’une m\u00e9ta-structure unifi\u00e9e, optimisant ainsi les flux d\u2019\u00e9changes de donn\u00e9es sur le r\u00e9seau.<\/p>\n En d\u00e9pit de sa remarquable puissance pr\u00e9dictive, le Bagging ne saurait \u00eatre appr\u00e9hend\u00e9 comme une panac\u00e9e algorithmique universelle. Son efficacit\u00e9 statistique d\u00e9pend organiquement de la v\u00e9rification d’un postulat axiomatique formul\u00e9 d\u00e8s l\u2019origine par Breiman : le pr\u00e9dicteur de base sous-jacent doit imp\u00e9rativement \u00eatre instable<\/strong>. Si l’on applique le m\u00e9canisme de Bagging \u00e0 des mod\u00e8les de base intrins\u00e8quement stables \u2014 c’est-\u00e0-dire des algorithmes dont la topologie de sortie ne varie que de fa\u00e7on infinit\u00e9simale lorsqu\u2019on perturbe marginalement leurs donn\u00e9es d\u2019entra\u00eenement \u2014, l\u2019ensemble \u00e9choue spectaculairement \u00e0 apporter le moindre gain de performance.<\/p>\n L\u2019illustration la plus probante de cette carence se manifeste lors de l\u2019application du Bagging \u00e0 des mod\u00e8les de r\u00e9gression lin\u00e9aire standard par moindres carr\u00e9s ordinaires, \u00e0 des mod\u00e8les lin\u00e9aires g\u00e9n\u00e9ralis\u00e9s rigides ou \u00e0 des classifieurs par plus proches voisins (k-nearest neighbors<\/em>) configur\u00e9s avec une valeur de ( k ) \u00e9lev\u00e9e. Ces estimateurs poss\u00e8dent par nature une variance stochastique mod\u00e9r\u00e9e mais un biais de sp\u00e9cification incompressible. Dans cette configuration, le coefficient de corr\u00e9lation inter-mod\u00e8les ( rho ) tend vers l\u2019unit\u00e9 : les mod\u00e8les ajust\u00e9s sur les diff\u00e9rentes r\u00e9pliques bootstrap sont rigoureusement identiques entre eux. En cons\u00e9quence, la formule de contraction de la variance s\u2019annihile, et l\u2019agr\u00e9gation finale ne procure aucune r\u00e9duction d’erreur mesurable par rapport \u00e0 un estimateur lin\u00e9aire unitaire isol\u00e9, tout en exigeant une d\u00e9bauche de ressources informatiques inutiles.<\/p>\n Une autre pathologie s\u00e9v\u00e8re concerne le traitement des jeux de donn\u00e9es caract\u00e9ris\u00e9s par un d\u00e9s\u00e9quilibre extr\u00eame des classes<\/strong> (par exemple, un ratio de 1 pour 10 000 dans les probl\u00e9matiques de d\u00e9tection de fraudes bancaires ou de maladies rares). Dans un tel sc\u00e9nario, le tirage uniforme avec remise au sein de l\u2019\u00e9chantillon bootstrap aboutit \u00e0 une probabilit\u00e9 alarmante d\u2019extraire des r\u00e9pliques ne contenant aucune observation de la classe minoritaire. Les arbres entra\u00een\u00e9s sur ces sous-\u00e9chantillons d\u00e9g\u00e9n\u00e8rent alors en classifieurs triviaux n’assignant que la classe majoritaire, annihilant le rappel du mod\u00e8le global. Ce dysfonctionnement a n\u00e9cessit\u00e9 le d\u00e9veloppement de variantes sp\u00e9cialis\u00e9es, \u00e0 l’instar du Balanced Bagging<\/em>, combinant bootstrap et sous-\u00e9chantillonnage dirig\u00e9 au sein de chaque r\u00e9plique.<\/p>\n Enfin, la rupture la plus critique survient lors de la manipulation de donn\u00e9es s\u00e9rialis\u00e9es violant frontalement l\u2019hypoth\u00e8se d\u2019ind\u00e9pendance et d\u2019identique distribution (i.i.d.). En pr\u00e9sence d’autocorr\u00e9lation temporelle (s\u00e9ries chronologiques), de d\u00e9pendance spatiale (g\u00e9ostatistique) ou de structures hi\u00e9rarchiques de r\u00e9seaux, le tirage uniforme avec remise d\u00e9truit la structure causale et dynamique sous-jacente du ph\u00e9nom\u00e8ne stochastique, conduisant \u00e0 des mod\u00e8les d\u2019ensemble fallacieux et surajust\u00e9s.<\/p>\n Face \u00e0 ces verrous m\u00e9thodologiques, la recherche contemporaine en statistique math\u00e9matique et en apprentissage machine a d\u00e9velopp\u00e9 des extensions raffin\u00e9es qui repoussent les fronti\u00e8res fonctionnelles du Bagging originel :<\/p>\n Dans le domaine des s\u00e9ries temporelles et des signaux stochastiques non stationnaires, la r\u00e9ponse th\u00e9orique aux limites du tirage i.i.d. a \u00e9t\u00e9 apport\u00e9e par le d\u00e9veloppement du Bagging par blocs mobiles<\/strong> (Moving Block Bootstrap<\/em> et Stationary Bootstrap<\/em> de Politis et Romano). Plut\u00f4t que de pr\u00e9lever des observations ponctuelles isol\u00e9es, l’algorithme proc\u00e8de au d\u00e9coupage et au r\u00e9\u00e9chantillonnage de segments continus de donn\u00e9es temporelles dont la longueur est calibr\u00e9e pour pr\u00e9server intacte la structure d’autocovariance locale des processus markoviens ou autor\u00e9gressifs.<\/p>\n Une autre fronti\u00e8re f\u00e9conde r\u00e9side dans les architectures hybrides associant le Bagging \u00e0 des mod\u00e8les d\u2019apprentissage profond (Deep Bagging<\/em>). Bien que l’entra\u00eenement d’ensembles de r\u00e9seaux de neurones profonds soit traditionnellement frein\u00e9 par des temps de calcul colossaux, l’agr\u00e9gation bootstrap de mod\u00e8les neuronaux distincts \u2014 initialis\u00e9s avec des poids stochastiques h\u00e9t\u00e9rog\u00e8nes et expos\u00e9s \u00e0 des r\u00e9gimes d\u2019\u00e9chantillonnage diff\u00e9renci\u00e9s \u2014 d\u00e9montre des capacit\u00e9s remarquables pour contrer les attaques contradictoires (adversarial attacks<\/em>) et am\u00e9liorer la g\u00e9n\u00e9ralisation sur des vari\u00e9t\u00e9s d’images ou de traitement automatique du langage naturel.<\/p>\n Enfin, l\u2019apport contemporain le plus d\u00e9cisif r\u00e9side dans l’exploitation des distributions d’ensemble pour la quantification formelle de l’incertitude pr\u00e9dictive<\/strong>. En ne se limitant plus \u00e0 la simple esp\u00e9rance de l’agr\u00e9gat, mais en analysant l’int\u00e9gralit\u00e9 de la dispersion empirique, des quantiles et de la kurtosis des sorties g\u00e9n\u00e9r\u00e9es par les ( B ) estimateurs \u00e9l\u00e9mentaires, les praticiens sont d\u00e9sormais en mesure de dissocier math\u00e9matiquement l’incertitude al\u00e9atoire (inh\u00e9rente au bruit des donn\u00e9es) de l’incertitude \u00e9pist\u00e9mique (d\u00e9coulant du manque de connaissance du mod\u00e8le dans les r\u00e9gions sous-repr\u00e9sent\u00e9es de l’espace des caract\u00e9ristiques). Cette perc\u00e9e fait du Bagging un outil privil\u00e9gi\u00e9 pour le d\u00e9ploiement d\u2019une intelligence artificielle responsable, s\u00fbre et auto-consciente de ses propres limites statistiques.<\/p>\n D\u00e9couvrez le bagging (bootstrap aggregating) en apprentissage automatique : principes fondamentaux, r\u00e9duction de la variance des arbres CART et applications.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","template":"","categories":[4314,2464],"tags":[5529,5531,7188,7171,7189],"class_list":["post-5301","psych_stat","type-psych_stat","status-publish","hentry","category-apprentissage-automatique","category-science-des-donnees","tag-arbres-de-decision","tag-bagging","tag-bootstrap-aggregating","tag-cart","tag-ensemble-learning"],"_links":{"self":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_stat\/5301","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_stat"}],"about":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/types\/psych_stat"}],"author":[{"embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=5301"}],"version-history":[{"count":0,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_stat\/5301\/revisions"}],"wp:attachment":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=5301"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=5301"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=5301"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}1. Fondements de la mod\u00e9lisation statistique : De la lin\u00e9arit\u00e9 \u00e0 la complexit\u00e9 non lin\u00e9aire<\/h2>\n
1.1 Les postulats des mod\u00e8les lin\u00e9aires classiques<\/h3>\n
1.2 L’\u00e9mergence des approches non param\u00e9triques<\/h3>\n
2. Les arbres de classification et de r\u00e9gression (CART)<\/h2>\n
2.1 M\u00e9canisme de partitionnement r\u00e9cursif binaire<\/h3>\n
2.2 Avantages inh\u00e9rents des architectures arborescentes<\/h3>\n
2.3 Le talon d’Achille de CART : L’instabilit\u00e9 structurelle<\/h3>\n
3. Le dilemme biais-variance sous l’angle des mod\u00e8les ensemblistes<\/h2>\n
3.1 D\u00e9composition formelle de l’erreur de g\u00e9n\u00e9ralisation<\/h3>\n
3.2 Diagnostic de la variance \u00e9lev\u00e9e chez les arbres profonds<\/h3>\n
4. Les fondements statistiques du r\u00e9\u00e9chantillonnage par Bootstrap<\/h2>\n
4.1 Gen\u00e8se et principe du bootstrap non param\u00e9trique d’Efron<\/h3>\n
4.2 Dynamique combinatoire des \u00e9chantillons bootstrap<\/h3>\n
5. L’architecture algorithmique du Bagging (Bootstrap Aggregating)<\/h2>\n
5.1 D\u00e9finition conceptuelle et formalisation de Leo Breiman<\/h3>\n
![\"\"](\"http:\/\/french.arabpsychology.com\/wp-content\/uploads\/2026\/09\/tree3-1.png\")
<\/figure>\n5.2 M\u00e9canisme th\u00e9orique de r\u00e9duction de variance<\/h3>\n
5.3 Pseudo-code et chronologie du pipeline de calcul<\/h3>\n
6. Le Bagging appliqu\u00e9 \u00e0 la r\u00e9gression : Agr\u00e9gation par moyenne arithm\u00e9tique<\/h2>\n
6.1 Formulation math\u00e9matique de l’estimateur agr\u00e9g\u00e9<\/h3>\n
6.2 \u00c9tude de cas d\u00e9taill\u00e9e : Mod\u00e9lisation continue<\/h3>\n
7. Le Bagging appliqu\u00e9 \u00e0 la classification : Strat\u00e9gies de vote et probabilit\u00e9s<\/h2>\n
7.1 Agr\u00e9gation par vote majoritaire (Hard Voting)<\/h3>\n
7.2 Agr\u00e9gation par probabilit\u00e9s a posteriori (Soft Voting)<\/h3>\n
8. L’\u00e9valuation hors sac (Out-Of-Bag) : Validation interne sans fractionnement<\/h2>\n
8.1 Fondement th\u00e9orique de l’ensemble Out-Of-Bag (OOB)<\/h3>\n
8.2 OOB versus validation crois\u00e9e k-fold : Analyse comparative<\/h3>\n
9. Interpr\u00e9tabilit\u00e9 et extraction de connaissances dans les mod\u00e8les de Bagging<\/h2>\n
9.1 La d\u00e9gradation de l’explicabilit\u00e9 intrins\u00e8que<\/h3>\n
9.2 Mesures de l’importance des variables<\/h3>\n
![\"Variable](\"http:\/\/french.arabpsychology.com\/wp-content\/uploads\/2026\/09\/bag1.png\")
10. Analyse comparative : Bagging, For\u00eats Al\u00e9atoires et Boosting<\/h2>\n
10.1 Du Bagging aux For\u00eats Al\u00e9atoires (Random Forests)<\/h3>\n
10.2 Bagging versus Boosting : Paradigmes parall\u00e8les et s\u00e9quentiels<\/h3>\n
11. Impl\u00e9mentation technique et optimisation des hyperparam\u00e8tres<\/h2>\n
11.1 Param\u00e8tres structurels d\u00e9terminants<\/h3>\n
11.2 Scalabilit\u00e9 et parall\u00e9lisation computationnelle<\/h3>\n
12. Limites \u00e9pist\u00e9mologiques et perspectives avanc\u00e9es du Bagging<\/h2>\n
12.1 Contextes d’inefficacit\u00e9 ou d’\u00e9chec de la m\u00e9thode<\/h3>\n
12.2 Extensions m\u00e9thodologiques contemporaines<\/h3>\n
R\u00e9f\u00e9rences<\/h2>\n
\n