Le processus de subdivision se poursuit jusqu’\u00e0 l’atteinte de n\u0153uds terminaux, d\u00e9nomm\u00e9s feuilles (leaf nodes<\/em>), au sein desquels aucune scission ult\u00e9rieure n’est op\u00e9r\u00e9e. Ces feuilles mat\u00e9rialisent une tessellation de l’espace des descripteurs en une collection d’hyper-rectangles disjoints, align\u00e9s sur les axes du rep\u00e8re canonique d\u00e9fini par les covariables. D’un point de vue formel, un arbre de d\u00e9cision transcrit une fonction math\u00e9matique constante par morceaux, associant \u00e0 tout vecteur d’entr\u00e9e une valeur pr\u00e9dictive unique correspondant \u00e0 la distribution empirique ou \u00e0 la moyenne conditionnelle de la variable cible observ\u00e9e dans l’hyper-rectangle correspondant. Cette g\u00e9om\u00e9trie orthogonale conf\u00e8re au mod\u00e8le une sp\u00e9cificit\u00e9 analytique imm\u00e9diate : la complexit\u00e9 d’une surface de r\u00e9ponse continue est approxim\u00e9e par une fonction en escalier.<\/p>\n Sur le plan \u00e9pist\u00e9mologique et cognitif, la topologie arborescente s’av\u00e8re singuli\u00e8rement remarquable par son parall\u00e9lisme avec les heuristiques de d\u00e9cision humaine, notamment dans le champ des sciences m\u00e9dicales et du diagnostic diff\u00e9rentiel. Les praticiens recourent spontan\u00e9ment \u00e0 des organigrammes d\u00e9cisionnels s\u00e9quentiels pour hi\u00e9rarchiser les signes cliniques, \u00e9liminant progressivement des hypoth\u00e8ses pathologiques par paliers successifs. De ce fait, l’arbre de d\u00e9cision b\u00e9n\u00e9ficie d’une repr\u00e9sentabilit\u00e9 formelle sous la forme d’un syst\u00e8me disjonctif de r\u00e8gles propositionnelles de type \u00ab SI-ALORS \u00bb (IF-THEN<\/em>). Chaque chemin reliant la racine \u00e0 une feuille terminale constitue une conjonction logique de conditions primitives, tandis que l’ensemble de l’arbre forme la disjonction exhaustive de ces chemins, offrant une translitt\u00e9ration directe de la structure inf\u00e9rentielle en langage naturel accessible aux non-sp\u00e9cialistes.<\/p>\n L’un des atouts pr\u00e9\u00e9minents de l’arbre de d\u00e9cision r\u00e9side dans son affranchissement total des postulats param\u00e9triques qui r\u00e9gissent traditionnellement les mod\u00e8les statistiques classiques tels que la r\u00e9gression lin\u00e9aire multiple ou les mod\u00e8les lin\u00e9aires g\u00e9n\u00e9ralis\u00e9s (GLM). Contrairement \u00e0 ces architectures, l’arbre ne pr\u00e9suppose aucune relation de lin\u00e9arit\u00e9 entre les variables ind\u00e9pendantes et l’esp\u00e9rance math\u00e9matique de la variable d\u00e9pendante, pas plus qu’il ne requiert l’homosc\u00e9dasticit\u00e9 ou la normalit\u00e9 des r\u00e9sidus. En scindant l’espace selon des seuils locaux sans contraindre la forme fonctionnelle globale, l’algorithme est intrins\u00e8quement apte \u00e0 approximer des surfaces de r\u00e9ponse hautement non lin\u00e9aires, qu’elles soient concaves, convexes, sinuso\u00efdales ou discontinues.<\/p>\n De surcro\u00eet, les arbres de d\u00e9cision capturent de mani\u00e8re purement endog\u00e8ne les interactions d’ordre sup\u00e9rieur entre les covariables, sans qu’il soit n\u00e9cessaire pour le mod\u00e9lisateur de sp\u00e9cifier pr\u00e9alablement des termes d’interaction multiplicative. En effet, lorsqu’une scission est r\u00e9alis\u00e9e sur une variable sp\u00e9cifique $X_j$<\/span> \u00e0 la racine, toute partition subs\u00e9quente op\u00e9r\u00e9e sur une seconde variable $X_k$<\/span> au sein de l’un des sous-n\u0153uds s’av\u00e8re conditionn\u00e9e par le statut de $X_j$<\/span>. Ainsi, la relation entre $X_k$<\/span> et la cible $Y$<\/span> est mod\u00e9lis\u00e9e diff\u00e9remment selon la strate d\u00e9finie par $X_j$<\/span>, ce qui constitue l’acception statistique stricte d’un effet d’interaction. Cette capacit\u00e9 \u00e0 cartographier des d\u00e9pendances conditionnelles imbriqu\u00e9es s’av\u00e8re cruciale dans l’analyse de syst\u00e8mes complexes, par exemple lors de l’\u00e9tude de profils psychom\u00e9triques ou g\u00e9nomiques o\u00f9 l’expression d’un trait d\u00e9pend enti\u00e8rement de la pr\u00e9sence simultan\u00e9e d’autres facteurs contextuels.<\/p>\n Parall\u00e8lement, la nature univari\u00e9e des tests d’impuret\u00e9 conf\u00e8re \u00e0 l’arbre une propri\u00e9t\u00e9 math\u00e9matique remarquable d’invariance face aux transformations monotones des variables explicatives. Qu’un attribut continu soit soumis \u00e0 une transformation logarithmique, exponentielle, racine carr\u00e9e ou \u00e0 un r\u00e9\u00e9chelonnage affine (normalisation centr\u00e9-r\u00e9duit), l’ordre relatif des observations demeure rigoureusement identique. Par cons\u00e9quent, les points de coupure optimaux s\u00e9lectionn\u00e9s par l’algorithme restent invariants au sens de l’ordonnancement, dispensant le praticien de phases fastidieuses de pr\u00e9traitement des donn\u00e9es. Cette insensibilit\u00e9 aux d\u00e9formations monotones s’accompagne d’une r\u00e9silience m\u00e9thodologique naturelle face aux distributions fortement asym\u00e9triques ou multimodales, les valeurs extr\u00eames se trouvant isol\u00e9es dans des partitions marginales sans exercer d’effet de levier disproportionn\u00e9 sur l’ajustement global, contrairement \u00e0 ce qui s’observe dans les estimations par moindres carr\u00e9s ordinaires.<\/p>\n Afin d’illustrer la m\u00e9canique s\u00e9quentielle de l’arbre, consid\u00e9rons un sc\u00e9nario \u00e9conom\u00e9trique appliqu\u00e9 \u00e0 la mod\u00e9lisation de la r\u00e9mun\u00e9ration annuelle de sportifs professionnels en fonction de leur exp\u00e9rience en ligue majeure (variable continue mesur\u00e9e en ann\u00e9es) et de leur indice de performance globale (variable composite continue). Dans un cadre param\u00e9trique standard, le mod\u00e9lisateur introduirait une forme quadratique pour capturer le d\u00e9clin de performance li\u00e9 \u00e0 l’\u00e2ge ainsi qu’un terme d’interaction entre l’exp\u00e9rience et le rendement actuel. L’arbre de d\u00e9cision proc\u00e8de quant \u00e0 lui par segmentation it\u00e9rative purement empirique.<\/p>\n \u00c0 la racine, l’algorithme \u00e9value l’ensemble des scissions possibles sur les deux variables et identifie, par exemple, qu’un seuil fix\u00e9 \u00e0 4,5 ann\u00e9es d’exp\u00e9rience minimise l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 globale du salaire. L’\u00e9chantillon est alors scind\u00e9 en deux cohortes. Pour le sous-groupe des athl\u00e8tes juniors (exp\u00e9rience $le$<\/span> 4,5), une seconde division est imm\u00e9diatement \u00e9tablie sur l’indice de performance : les sportifs dont l’indice est inf\u00e9rieur \u00e0 65 unit\u00e9s se voient assigner un salaire moyen pr\u00e9dit de 45 000 euros, tandis que ceux affichant un indice sup\u00e9rieur acc\u00e8dent \u00e0 une esp\u00e9rance salariale de 120 000 euros. Inversement, pour le sous-ensemble des v\u00e9t\u00e9rans (exp\u00e9rience $>$<\/span> 4,5), la scission prioritaire s’op\u00e8re sur un seuil de performance beaucoup plus \u00e9lev\u00e9, par exemple 80 unit\u00e9s, conduisant \u00e0 des feuilles terminales associ\u00e9es respectivement \u00e0 250 000 euros et 850 000 euros.<\/p>\n Cette formalisation met en \u00e9vidence le calcul de l’esp\u00e9rance conditionnelle sur les n\u0153uds terminaux : au sein de chaque hyper-rectangle $R_m$<\/span>, la pr\u00e9diction $\\hat{c}_m$<\/span> s’\u00e9tablit simplement par la moyenne arithm\u00e9tique des observations d’entra\u00eenement y r\u00e9sidant :<\/p>\n $$\\hat{c}_m = \\frac{1}{N_m} \\sum_{x_i in R_m} y_i$$<\/span><\/p>\n Toutefois, cet exemple paradigmatique r\u00e9v\u00e8le \u00e9galement la limitation structurelle majeure de l’arbre unitaire : la rigidit\u00e9 granulaire de ses partitions. La fonction de pr\u00e9diction r\u00e9sultante proc\u00e8de par sauts discontinus le long des fronti\u00e8res de d\u00e9cision. Un sportif cumulant 4,4 ann\u00e9es d’exp\u00e9rience sera trait\u00e9 de mani\u00e8re drastiquement distincte d’un athl\u00e8te affichant 4,6 ann\u00e9es, alors m\u00eame que leur profil r\u00e9el s’av\u00e8re infinit\u00e9simalement proche. Cette rigidit\u00e9 par morceaux engendre une impr\u00e9cision fondamentale lors de l’estimation de ph\u00e9nom\u00e8nes continus et explique l’inefficacit\u00e9 relative de l’arbre de d\u00e9cision isol\u00e9 lorsqu’il s’agit de capturer des gradients lisses de r\u00e9ponse.<\/p>\n L’induction d’un arbre de classification repose sur le principe de la minimisation de l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 des classes au sein des n\u0153uds successifs, concept formalis\u00e9 math\u00e9matiquement sous le vocable d’\u00ab impuret\u00e9 \u00bb. Parmi les m\u00e9triques fondamentales consacr\u00e9es par la litt\u00e9rature statistique, l’indice d’impuret\u00e9 de Gini \u2014 popularis\u00e9 par l’algorithme CART (Breiman et al., 1984<\/a>) \u2014 occupe une place centrale. Pour un n\u0153ud donn\u00e9 $t$<\/span> h\u00e9bergeant une distribution de $K$<\/span> classes distinctes, la proportion d’observations appartenant \u00e0 la classe $k$<\/span> \u00e9tant not\u00e9e $p(k|t)$<\/span>, l’indice de Gini est d\u00e9fini par :<\/p>\n $$I_G(t) = 1 – \\sum_{k=1}^K p(k|t)^2 = \\sum_{k ne l} p(k|t) p(l|t)$$<\/span><\/p>\n Sur le plan probabiliste, l’impuret\u00e9 de Gini mesure la probabilit\u00e9 qu’un \u00e9l\u00e9ment s\u00e9lectionn\u00e9 au hasard dans le sous-ensemble soit incorrectement \u00e9tiquet\u00e9 s’il recevait une classe attribu\u00e9e al\u00e9atoirement selon la distribution empirique du n\u0153ud. Cette m\u00e9trique est strictement concave, born\u00e9e entre 0 (puret\u00e9 absolue, l’ensemble des \u00e9l\u00e9ments appartenant \u00e0 une classe unique) et $(K-1)\/K$<\/span> (distribution parfaitement \u00e9quiprobable des classes).<\/p>\n Une approche alternative, issue de la th\u00e9orie de l’information de Claude Shannon (1948)<\/a> et impl\u00e9ment\u00e9e dans les algorithmes ID3 et C4.5 d\u00e9velopp\u00e9s par Ross Quinlan, mobilise l’entropie statistique :<\/p>\n $$H(t) = – \\sum_{k=1}^K p(k|t) \\log_2 p(k|t)$$<\/span><\/p>\n L’entropie quantifie l’incertitude informationnelle moyenne contenue dans le n\u0153ud. Le partitionnement optimal est alors d\u00e9termin\u00e9 par la maximisation du gain d’information $\\Delta H$<\/span>, repr\u00e9sentant la r\u00e9duction de l’entropie obtenue en scindant le n\u0153ud parent $t$<\/span> en sous-n\u0153uds enfants pond\u00e9r\u00e9s par leurs effectifs relatifs. Bien que Gini et l’entropie convergent fr\u00e9quemment vers des topologies d\u00e9cisionnelles similaires dans la plupart des contextes exp\u00e9rimentaux, leurs sensibilit\u00e9s diff\u00e9rentielles aux probabilit\u00e9s marginales s’av\u00e8rent manifestes. L’entropie tend \u00e0 p\u00e9naliser plus s\u00e9v\u00e8rement les incertitudes diffuses et pr\u00e9sente une convexit\u00e9 plus accentu\u00e9e que la m\u00e9trique de Gini, conf\u00e9rant \u00e0 cette derni\u00e8re une propension plus \u00e9lev\u00e9e \u00e0 isoler rapidement la classe la plus fr\u00e9quente.<\/p>\n Dans l’analyse de cohortes cliniques caract\u00e9ris\u00e9es par des classes fortement minoritaires (par exemple, la pr\u00e9valence rare d’une mutation g\u00e9n\u00e9tique ou d’un syndrome psychopathologique sp\u00e9cifique au sein d’une population g\u00e9n\u00e9rale), ces divergences prennent une importance critique. L’indice de Gini tend \u00e0 privil\u00e9gier les scissions cr\u00e9ant une feuille tr\u00e8s pure au d\u00e9triment de l’homog\u00e9n\u00e9it\u00e9 du n\u0153ud r\u00e9siduel, ce qui peut masquer des signaux subtils relatifs \u00e0 la classe rare. Par ailleurs, la nature du partitionnement constitue une divergence algorithmique majeure : alors que l’architecture CART impose strictement un partitionnement binaire r\u00e9cursif en testant pour chaque attribut continu des seuils scalaires $X_j le s$<\/span>, l’algorithme C4.5 autorise des scissions multiples (multiway splits<\/em>) pour les attributs nominaux, ce qui n\u00e9cessite d’ajuster le gain d’information par le ratio de gain (gain ratio<\/em>) afin d’\u00e9viter le biais syst\u00e9matique en faveur des variables poss\u00e9dant de nombreuses modalit\u00e9s.<\/p>\n Dans le contexte o\u00f9 la variable cible $Y$<\/span> est quantitativement continue, la notion d’impuret\u00e9 de classe c\u00e8de la place \u00e0 des m\u00e9triques de dispersion statistique et de variance intra-n\u0153ud. Le crit\u00e8re canonique, adopt\u00e9 par les arbres de r\u00e9gression CART, repose sur la minimisation de l’erreur quadratique moyenne intra-n\u0153ud, ce qui \u00e9quivaut \u00e0 maximiser la r\u00e9duction de variance cons\u00e9cutive \u00e0 la scission. Pour un n\u0153ud parent contenant $N_t$<\/span> observations, la division candidate scindant l’ensemble en deux partitions d’effectifs $N_L$<\/span> et $N_R$<\/span> est \u00e9valu\u00e9e par l’optimisation de la quantit\u00e9 :<\/p>\n $$\\Delta V = \\frac{1}{N_t} \\sum_{i in t} (y_i – \\bar{y}_t)^2 – \\left[ \\frac{N_L}{N_t} \\frac{1}{N_L} \\sum_{i in L} (y_i – \\bar{y}_L)^2 + \\frac{N_R}{N_t} \\frac{1}{N_R} \\sum_{i in R} (y_i – \\bar{y}_R)^2 \\right]$$<\/span><\/p>\n o\u00f9 $\\bar{y}_t$<\/span>, $\\bar{y}_L$<\/span> et $\\bar{y}_R$<\/span> d\u00e9signent respectivement les moyennes arithm\u00e9tiques empiriques de la cible dans le n\u0153ud parent et les n\u0153uds enfants gauche et droit. Cette m\u00e9canique inductive r\u00e9cursive recherche de mani\u00e8re gloutonne le descripteur et le seuil qui maximisent l’homog\u00e9n\u00e9it\u00e9 interne des sous-groupes, ce qui revient \u00e0 maximiser la variance inter-classes conform\u00e9ment au th\u00e9or\u00e8me de d\u00e9composition de la variance (formule de Huygens).<\/p>\n Cependant, l’utilisation de l’erreur quadratique conf\u00e8re \u00e0 la fonction de perte une sensibilit\u00e9 disproportionn\u00e9e aux observations aberrantes (outliers<\/em>) et aux distributions de r\u00e9sidus caract\u00e9ris\u00e9es par des queues lourdes. Une observation extr\u00eame situ\u00e9e dans la p\u00e9riph\u00e9rie de l’espace des cibles peut forcer une scission artificielle d\u00e9di\u00e9e exclusivement \u00e0 son isolement, alt\u00e9rant la stabilit\u00e9 structurelle du sous-arbre. Pour pallier cette vuln\u00e9rabilit\u00e9, des crit\u00e8res de robustesse alternatifs s’appuient sur la minimisation de l’\u00e9cart absolu moyen (perte $L_1$<\/span>) :<\/p>\n $$MAE(t) = \\frac{1}{N_t} \\sum_{i in t} |y_i – \\text{m\u00e9diane}(y)_t|$$<\/span><\/p>\n Le recours \u00e0 la m\u00e9diane empirique au d\u00e9triment de la moyenne arithm\u00e9tique assure une immunit\u00e9 statistique accrue face aux anomalies de distribution, stabilisant l’induction des r\u00e8gles d\u00e9cisionnelles au prix d’une intensit\u00e9 computationnelle sup\u00e9rieure li\u00e9e au tri it\u00e9ratif des valeurs cibles. L’\u00e9valuation de l’erreur r\u00e9siduelle standardis\u00e9e \u00e0 travers les partitions successives permet ainsi de suivre la convergence du mod\u00e8le vers une variance asymptotique minimale.<\/p>\n En l’absence de r\u00e9gulation algorithmique, un arbre de d\u00e9cision d\u00e9veloppera sa ramification de mani\u00e8re exponentielle jusqu’\u00e0 ce que chaque observation r\u00e9side dans une feuille unitaire totalement pure. Un tel mod\u00e8le pr\u00e9sente une erreur d’ajustement empirique nulle sur l’\u00e9chantillon d’entra\u00eenement mais exhibe une faillite pr\u00e9dictive totale face \u00e0 de nouvelles donn\u00e9es : c’est l’arch\u00e9type du surapprentissage statistique. Pour circonscrire cette d\u00e9rive, deux paradigmes interviennent : le pr\u00e9-\u00e9lagage (pre-pruning<\/em>) et le post-\u00e9lagage (post-pruning<\/em>).<\/p>\n Le pr\u00e9-\u00e9lagage repose sur l’impl\u00e9mentation de crit\u00e8res d’arr\u00eat stochastiques ou structurels impos\u00e9s en amont de l’induction r\u00e9cursive. Ces heuristiques comprennent :<\/p>\n Bien que s\u00e9duisantes sur le plan computationnel par l’arr\u00eat pr\u00e9coce de la construction du graphe, ces heuristiques souffrent d’une myopie algorithmique cong\u00e9nitale : une scission apparemment m\u00e9diocre \u00e0 l’\u00e9tape $k$<\/span> peut s’av\u00e9rer la condition indispensable \u00e0 l’\u00e9mergence d’une scission exceptionnellement discriminante \u00e0 l’\u00e9tape $k+1$<\/span>. Le pr\u00e9-\u00e9lagage risque ainsi de tronquer pr\u00e9matur\u00e9ment des interactions complexes.<\/p>\n Le post-\u00e9lagage, et plus particuli\u00e8rement la m\u00e9thode de p\u00e9nalisation co\u00fbt-complexit\u00e9 (minimal cost-complexity pruning<\/em>), formalis\u00e9e dans l’algorithme CART, constitue la r\u00e9f\u00e9rence m\u00e9thodologique. Cette approche consiste \u00e0 d\u00e9velopper l’arbre jusqu’\u00e0 sa saturation maximale, puis \u00e0 contracter r\u00e9trospectivement ses branches terminales en introduisant un param\u00e8tre de complexit\u00e9 $\\alpha ge 0$<\/span>. Pour un sous-arbre $T \\subseteq T_{\\max}$<\/span>, la fonctionnelle de co\u00fbt p\u00e9nalis\u00e9e s’\u00e9crit :<\/p>\n $$R_\\alpha(T) = R(T) + \\alpha |T|$$<\/span><\/p>\n o\u00f9 $R(T)$<\/span> repr\u00e9sente l’erreur globale d’entra\u00eenement du sous-arbre et $|T|$<\/span> d\u00e9signe le nombre de ses feuilles terminales. Lorsque le scalaire $\\alpha$<\/span> varie contin\u00fbment de z\u00e9ro \u00e0 l’infini, il engendre une suite finie et imbriqu\u00e9e de sous-arbres optimaux. Le sous-arbre id\u00e9al est alors s\u00e9lectionn\u00e9 de mani\u00e8re non biais\u00e9e par validation crois\u00e9e \u00e0 $K$<\/span> blocs ($k$<\/span>-fold cross-validation<\/em>), identifiant le point d’\u00e9quilibre optimal entre la fid\u00e9lit\u00e9 aux donn\u00e9es et la parcimonie architecturale, garantissant ainsi une r\u00e9gularisation efficace de l’estimateur unitaire.<\/p>\n Malgr\u00e9 les raffinements algorithmiques apport\u00e9s par l’\u00e9lagage co\u00fbt-complexit\u00e9, la communaut\u00e9 statistique a \u00e9t\u00e9 confront\u00e9e \u00e0 la fin du XXe si\u00e8cle \u00e0 un constat d’\u00e9chec m\u00e9thodologique concernant l’arbre de d\u00e9cision unique : son instabilit\u00e9 intrins\u00e8que face aux fluctuations d’\u00e9chantillonnage. D\u00e8s 1996, Leo Breiman a qualifi\u00e9 les arbres de d\u00e9cision d’estimateurs \u00ab instables \u00bb, signifiant qu’une modification infinit\u00e9simale apport\u00e9e aux donn\u00e9es d’entra\u00eenement \u2014 telle que l’adjonction ou la suppression de quelques observations \u2014 peut induire une reconfiguration radicale de la scission initiale \u00e0 la racine, et propager en cascade une distorsion compl\u00e8te de la topologie de l’arbre. L’arbre unique se heurte ainsi \u00e0 une aporie : il ne peut simultan\u00e9ment garantir une finesse d’ajustement aux non-lin\u00e9arit\u00e9s et une stabilit\u00e9 de pr\u00e9diction en milieu stochastique.<\/p>\n Pour r\u00e9soudre cette tension, Breiman s’est inspir\u00e9 de la th\u00e9orie de l’agr\u00e9gation d’opinions et du th\u00e9or\u00e8me de la \u00ab sagesse des foules \u00bb, conceptualis\u00e9 sur le plan math\u00e9matique par le marquis de Condorcet en 1785. Selon ce principe, la combinaison probabiliste des d\u00e9cisions prises par un ensemble \u00e9tendu d’individus faillibles, mais d\u00e9tenant un niveau de comp\u00e9tence marginalement sup\u00e9rieur au hasard pur, converge asymptotiquement vers une inf\u00e9rence optimale, sous r\u00e9serve que les avis exprim\u00e9s soient ind\u00e9pendants les uns des autres. En transposant ce th\u00e9or\u00e8me aux mod\u00e8les d’apprentissage, la litt\u00e9rature a vu \u00e9clore les premiers arbres de d\u00e9cision randomis\u00e9s (Amit & Geman, 1997<\/a> ; Ho, 1995<\/a>), pr\u00e9parant le terrain pour la formulation canonique des for\u00eats al\u00e9atoires par Breiman en 2001<\/a>.<\/p>\n La formalisation de Breiman repose sur la synth\u00e8se du vote majoritaire (pour la classification) ou de la moyenne simple (pour la r\u00e9gression) appliqu\u00e9e \u00e0 une famille d’estimateurs arborescents construits sur des distributions de probabilit\u00e9 perturb\u00e9es. L’originalit\u00e9 fondamentale du m\u00e9ta-mod\u00e8le r\u00e9side dans l’injection d\u00e9lib\u00e9r\u00e9e et syst\u00e9matique de stochasticit\u00e9 au sein du processus de construction de chaque arbre. Plut\u00f4t que de rechercher l’optimisation d\u00e9terministe d’une structure unique, les for\u00eats al\u00e9atoires g\u00e9n\u00e8rent d\u00e9lib\u00e9r\u00e9ment une diversit\u00e9 de structures sous-optimales individuellement, mais mutuellement d\u00e9corr\u00e9l\u00e9es, exploitant les propri\u00e9t\u00e9s stabilisatrices de la moyenne arithm\u00e9tique pour \u00e9craser la variance d’\u00e9chantillonnage.<\/p>\n L’une des pr\u00e9occupations majeures formul\u00e9es lors de l’introduction des m\u00e9thodes d’ensemble concernait le risque d’aggraver le surapprentissage en juxtaposant des centaines, voire des milliers d’arbres d\u00e9cisionnels hautement complexes. Breiman a dissip\u00e9 cette inqui\u00e9tude par une d\u00e9monstration math\u00e9matique \u00e9l\u00e9gante fond\u00e9e sur la loi forte des grands nombres. Consid\u00e9rons un ensemble de classifieurs arborents individuels ${h_b(X, \\Theta_b)}_{b=1}^B$<\/span>, o\u00f9 les vecteurs al\u00e9atoires $\\Theta_b$<\/span> sont ind\u00e9pendants et identiquement distribu\u00e9s (i.i.d.) et gouvernent le tirage stochastique des \u00e9chantillons et des variables pour chaque arbre $b$<\/span>. Pour toute distribution conjointe de probabilit\u00e9 r\u00e9gissant le couple $(X, Y)$<\/span>, lorsque le nombre d’arbres $B$<\/span> tend vers l’infini :<\/p>\n $$\\lim_{B to \\infty} \\frac{1}{B} \\sum_{b=1}^B h_b(X, \\Theta_b) = P_\\Theta(h(X, \\Theta) = Y) \\quad \\text{presque s\u00fbrement}$$<\/span><\/p>\n Cette convergence presque s\u00fbre prouve de fa\u00e7on irr\u00e9futable que les for\u00eats al\u00e9atoires ne surapprennent pas par la simple accumulation d’arbres suppl\u00e9mentaires. Contrairement aux r\u00e9seaux neuronaux profonds non r\u00e9gularis\u00e9s ou aux m\u00e9thodes d’amplification de gradient (boosting<\/em>), pour lesquels l’adjonction it\u00e9rative de capacit\u00e9 peut conduire \u00e0 une d\u00e9t\u00e9rioration de la performance hors-\u00e9chantillon apr\u00e8s un seuil critique, la fonction d’erreur de g\u00e9n\u00e9ralisation d’une for\u00eat al\u00e9atoire d\u00e9cro\u00eet de mani\u00e8re monotone jusqu’\u00e0 atteindre un plateau asymptotique invariant.<\/p>\n Breiman a formalis\u00e9 la borne sup\u00e9rieure de l’erreur de g\u00e9n\u00e9ralisation pour les for\u00eats de classification sous l’in\u00e9galit\u00e9 suivante :<\/p>\n $$PE^* le \\frac{\\bar{\\rho} (1 – s^2)}{s^2}$$<\/span><\/p>\n o\u00f9 $\\bar{\\rho}$<\/span> repr\u00e9sente la corr\u00e9lation moyenne entre les r\u00e9sidus des arbres individuels composant la for\u00eat, et $s$<\/span> d\u00e9signe la \u00ab force \u00bb (strength<\/em>) moyenne de ces m\u00eames arbres, mesur\u00e9e par leur pr\u00e9cision individuelle au-del\u00e0 du hasard. Cette \u00e9quation met en exergue l’imp\u00e9ratif th\u00e9orique qui gouverne l’architecture des for\u00eats al\u00e9atoires : pour minimiser l’erreur de pr\u00e9diction asymptotique, il est math\u00e9matiquement n\u00e9cessaire de maximiser la force individuelle des arbres tout en minimisant leur corr\u00e9lation mutuelle $\\bar{\\rho}$<\/span>. C’est pr\u00e9cis\u00e9ment pour r\u00e9duire cette corr\u00e9lation que Breiman a introduit le double m\u00e9canisme de randomisation.<\/p>\n Le premier \u00e9tage de la randomisation repose sur le concept d’agr\u00e9gation bootstrap, commun\u00e9ment d\u00e9sign\u00e9 sous l’acronyme de Bagging<\/em> (Breiman, 1996<\/a>). \u00c9tant donn\u00e9 un jeu de donn\u00e9es d’entra\u00eenement initial $\\mathcal{D}_n$<\/span> de taille $n$<\/span>, l’algorithme g\u00e9n\u00e8re pour chaque arbre $b in {1, dots, B}$<\/span> un sous-\u00e9chantillon $\\mathcal{D}_n^{*b}$<\/span> obtenu par tirage al\u00e9atoire uniforme avec remise de $n$<\/span> observations parmi $\\mathcal{D}_n$<\/span>. Cette proc\u00e9dure conf\u00e8re \u00e0 chaque observation individuelle une probabilit\u00e9 \u00e9l\u00e9mentaire $1\/n$<\/span> d’\u00eatre s\u00e9lectionn\u00e9e lors d’un tirage singulier.<\/p>\n Consid\u00e9rons la probabilit\u00e9 asymptotique qu’une observation sp\u00e9cifique soit totalement omise d’un \u00e9chantillon bootstrap donn\u00e9. Lors d’un tirage, la probabilit\u00e9 d’exclusion d’un point est de $1 – 1\/n$<\/span>. Pour une s\u00e9quence de $n$<\/span> tirages ind\u00e9pendants avec remise, la probabilit\u00e9 de non-s\u00e9lection s’\u00e9l\u00e8ve \u00e0 :<\/p>\n $$P(\\text{exclusion}) = \\left( 1 – \\frac{1}{n} \\right)^n$$<\/span><\/p>\n En mobilisant la d\u00e9finition exponentielle de la constante d’Euler, la limite asymptotique lorsque la taille de l’\u00e9chantillon $n$<\/span> tend vers l’infini s’\u00e9tablit \u00e0 :<\/p>\n $$\\lim_{n to \\infty} \\left( 1 – \\frac{1}{n} \\right)^n = \\frac{1}{e} \\approx 0{,}3678 \\approx 36{,}8%$$<\/span><\/p>\n En cons\u00e9quence, chaque \u00e9chantillon bootstrap contient en moyenne approximativement $63{,}2%$<\/span> d’observations distinctes du jeu de donn\u00e9es original, les $36{,}8%$<\/span> restants constituant des duplications stochastiques issues du principe de remise.<\/p>\n Cette pr\u00e9servation contr\u00f4l\u00e9e de la variabilit\u00e9 d’\u00e9chantillonnage joue un r\u00f4le d\u00e9stabilisateur positif. En soumettant chaque arbre \u00e0 une composition d’\u00e9chantillonnage modifi\u00e9e, l’agr\u00e9gation bootstrap garantit que les partitions optimales calcul\u00e9es diff\u00e8rent d’un mod\u00e8le \u00e0 l’autre. La d\u00e9pendance stricte de l’arbre unique vis-\u00e0-vis des donn\u00e9es d’observation se trouve rompue, les estimateurs individuels explorant des r\u00e9gions distinctes de l’espace empirique.<\/p>\n Bien que le bagging r\u00e9duise substantiellement la variance, il s’av\u00e8re insuffisant lorsque les donn\u00e9es d’apprentissage comportent un pr\u00e9dicteur \u00e0 l’effet pr\u00e9pond\u00e9rant, c’est-\u00e0-dire une variable dont le pouvoir explicatif surpasse massivement celui de toutes les autres. Dans une telle configuration, chaque arbre entra\u00een\u00e9 sur un \u00e9chantillon bootstrap continuera inexorablement de s\u00e9lectionner ce descripteur dominant lors de la premi\u00e8re scission \u00e0 la racine. Par cons\u00e9quent, les sous-arbres descendants demeureront fortement corr\u00e9l\u00e9s entre eux sur le plan structural, emp\u00eachant la corr\u00e9lation moyenne $\\bar{\\rho}$<\/span> de chuter, ce qui borne s\u00e9v\u00e8rement les gains de variance attendus.<\/p>\n Pour neutraliser ce masquage des pr\u00e9dicteurs secondaires, les for\u00eats al\u00e9atoires incorporent la m\u00e9thode des sous-espaces al\u00e9atoires formul\u00e9e initialement par Tin Kam Ho (1998)<\/a>. \u00c0 chaque n\u0153ud de chaque arbre individuel, l’algorithme tire un sous-ensemble al\u00e9atoire de $m$<\/span> variables parmi les $p$<\/span> descripteurs totaux disponibles, sans remise, avec la contrainte stricte $m < p$<\/span>. L'algorithme CART standard est alors contraint d'identifier le point de scission optimal exclusivement parmi ces $m$<\/span> variables pr\u00e9s\u00e9lectionn\u00e9es stochastiquement.<\/p>\n La litt\u00e9rature et la pratique empirique ont \u00e9tabli des r\u00e8gles de calibration canoniques r\u00e9gissant le choix de $m$<\/span> :<\/p>\n En privant d\u00e9lib\u00e9r\u00e9ment l’algorithme d’acc\u00e8s au pr\u00e9dicteur dominant dans une proportion notable de n\u0153uds ($1 – m\/p$<\/span>), le m\u00e9canisme force l’exploration de descripteurs latents ou subordonn\u00e9s. Ces pr\u00e9dicteurs secondaires, bien que mod\u00e9r\u00e9ment informatifs individuellement, r\u00e9v\u00e8lent alors des combinaisons interactives locales qui seraient demeur\u00e9es invisibles dans un arbre unitaire standard. Cette d\u00e9corr\u00e9lation active des structures d\u00e9cisionnelles comprime significativement la covariance entre estimateurs sans d\u00e9grader substantiellement leur force moyenne.<\/p>\n Une retomb\u00e9e m\u00e9thodologique \u00e9l\u00e9gante du processus de r\u00e9\u00e9chantillonnage par bootstrap est la constitution endog\u00e8ne d’un \u00e9chantillon de test virtuel, d\u00e9nomm\u00e9 donn\u00e9es \u00ab hors sac \u00bb (Out-Of-Bag<\/em> ou OOB). Comme \u00e9tabli pr\u00e9c\u00e9demment, pour chaque arbre $b$<\/span>, approximativement $36{,}8%$<\/span> des observations n’ont pas particip\u00e9 \u00e0 son ajustement. Ces donn\u00e9es OOB constituent ainsi un ensemble de validation interne parfaitement non biais\u00e9 pour \u00e9valuer la capacit\u00e9 de g\u00e9n\u00e9ralisation de cet arbre particulier.<\/p>\n L’estimateur d’erreur hors sac globale se calcule de la mani\u00e8re suivante : pour chaque observation $i in {1, dots, n}$<\/span> de l’ensemble d’entra\u00eenement original, on identifie le sous-ensemble d’arbres $\\mathcal{B}_{(i)}$<\/span> pour lesquels l’observation $i$<\/span> \u00e9tait effectivement OOB, soit :<\/p>\n $$\\mathcal{B}_{(i)} = {b in {1, dots, B} mid i \\notin \\mathcal{D}_n^{*b}}$$<\/span><\/p>\n La pr\u00e9diction agr\u00e9g\u00e9e OOB pour l’observation $i$<\/span>, not\u00e9e $\\hat{y}_i^{OOB}$<\/span>, est ensuite formul\u00e9e par le vote majoritaire (classification) ou la moyenne arithm\u00e9tique (r\u00e9gression) restreint exclusivement aux estimateurs appartenant \u00e0 $\\mathcal{B}_{(i)}$<\/span> :<\/p>\n $$\\hat{y}_i^{OOB} = \\frac{1}{|\\mathcal{B}_{(i)}|} \\sum_{b in \\mathcal{B}_{(i)}} h_b(x_i, \\Theta_b)$$<\/span><\/p>\n L’erreur OOB agr\u00e9g\u00e9e sur les $n$<\/span> observations offre une approximation asymptotiquement \u00e9quivalente \u00e0 celle obtenue par une validation crois\u00e9e \u00e0 $K$<\/span> blocs compl\u00e8te ($K$<\/span>-fold CV). Cette \u00e9quivalence math\u00e9matique conf\u00e8re un avantage computationnel consid\u00e9rable aux for\u00eats al\u00e9atoires : la performance de g\u00e9n\u00e9ralisation et l’absence de sous-ajustement peuvent \u00eatre \u00e9valu\u00e9es en temps r\u00e9el durant l’entra\u00eenement sans qu’il soit n\u00e9cessaire d’orchestrer des cycles d’apprentissage crois\u00e9s it\u00e9ratifs, r\u00e9duisant ainsi drastiquement l’empreinte de calcul.<\/p>\n La divergence architecturale fondamentale entre l’arbre de d\u00e9cision et la for\u00eat al\u00e9atoire r\u00e9side dans le passage d’une structure singuli\u00e8re rigide \u00e0 une distribution probabiliste d’arbres d\u00e9cisionnels. Un arbre de d\u00e9cision classique (tel qu’impl\u00e9ment\u00e9 dans l’algorithme CART d\u00e9terministe sans sous-\u00e9chantillonnage) est caract\u00e9ris\u00e9 par une reproductibilit\u00e9 absolue : \u00e0 donn\u00e9es d’entra\u00eenement invariantes et hyperparam\u00e8tres constants, l’algorithme d’induction r\u00e9cursive restituera rigoureusement la m\u00eame topologie arborescente, n\u0153ud par n\u0153ud, seuil par seuil. Cette certitude proc\u00e9durale d\u00e9coule de la nature gloutonne de l’optimisation, qui s\u00e9lectionne syst\u00e9matiquement le partitionnement univari\u00e9 r\u00e9alisant l’extremum local de la m\u00e9trique d’impuret\u00e9.<\/p>\n \u00c0 l’oppos\u00e9, la for\u00eat al\u00e9atoire rel\u00e8ve intrins\u00e8quement de l’agr\u00e9gation stochastique. En int\u00e9grant deux g\u00e9n\u00e9rateurs de nombres pseudo-al\u00e9atoires ind\u00e9pendants \u2014 l’un gouvernant la composition des sous-\u00e9chantillons bootstrap et l’autre le tirage des sous-espaces de covariables \u00e0 chaque n\u0153ud \u2014, la for\u00eat g\u00e9n\u00e8re un ensemble d’arbres dont aucun n’a vocation \u00e0 repr\u00e9senter la v\u00e9rit\u00e9 structurelle sous-jacente des donn\u00e9es. La pr\u00e9diction finale ne s’appuie plus sur une trajectoire d\u00e9cisionnelle d\u00e9terministe, mais r\u00e9sulte de l’esp\u00e9rance calcul\u00e9e sur l’ensemble de ces trajectoires al\u00e9atoires.<\/p>\n Sur le plan g\u00e9om\u00e9trique, cette diff\u00e9rence se traduit par une modification profonde de la fronti\u00e8re de d\u00e9cision. Alors que l’arbre unitaire engendre des fronti\u00e8res de classification discontinues, formant des partitions rectangulaires abruptes parall\u00e8les aux axes orthogonaux des pr\u00e9dicteurs, la for\u00eat al\u00e9atoire superpose des milliers de ces hyper-rectangles d\u00e9cal\u00e9s les uns par rapport aux autres. Par l’effet du lissage d’ensemble, la fronti\u00e8re de d\u00e9cision globale r\u00e9sultante s’affranchit de la contrainte d’orthogonalit\u00e9 stricte et adopte des courbures douces, permettant d’\u00e9pouser avec une pr\u00e9cision g\u00e9om\u00e9trique sup\u00e9rieure les vari\u00e9t\u00e9s diff\u00e9rentiables non lin\u00e9aires sous-jacentes dans les espaces multidimensionnels.<\/p>\n L’architecture hi\u00e9rarchique de l’arbre de d\u00e9cision unitaire le rend hypersensible aux fluctuations d’\u00e9chantillonnage, une propri\u00e9t\u00e9 que la litt\u00e9rature statistique qualifie de haute variance d’instabilit\u00e9 structurelle. La cause premi\u00e8re de ce ph\u00e9nom\u00e8ne r\u00e9side dans la propagation s\u00e9quentielle des erreurs le long du graphe acyclique : le choix de la scission optimale au n\u0153ud racine conditionne irr\u00e9vocablement l’ensemble des partitions ult\u00e9rieures. Si une perturbation marginale des donn\u00e9es conduit \u00e0 substituer la variable de scission initiale par une covariable concurrente dont le gain d’impuret\u00e9 \u00e9tait infinit\u00e9simalement proche, l’espace des donn\u00e9es se trouve projet\u00e9 dans des sous-r\u00e9gions radicalement diff\u00e9rentes. L’int\u00e9gralit\u00e9 du sous-arbre en aval s’effondre et se reconstruit selon une logique orthogonale \u00e0 la pr\u00e9c\u00e9dente, induisant une d\u00e9rive massive des pr\u00e9dictions finales.<\/p>\n Dans la for\u00eat al\u00e9atoire, ce probl\u00e8me d’amplification d’instabilit\u00e9 locale est r\u00e9solu par la d\u00e9rivation du principe d’absorption de variance inh\u00e9rent aux estimateurs d’ensemble. Soit une famille de variables al\u00e9atoires $Z_1, dots, Z_B$<\/span>, chacune poss\u00e9dant une variance individuelle $\\sigma^2$<\/span>, et caract\u00e9ris\u00e9es par un coefficient de corr\u00e9lation par paire invariant $rho$<\/span>. La variance de la moyenne arithm\u00e9tique de cet ensemble est donn\u00e9e par l’identit\u00e9 statistique :<\/p>\n $$operatorname{Var}\\left( \\frac{1}{B} \\sum_{b=1}^B Z_b \\right) = \\rho \\sigma^2 + \\frac{1 – \\rho}{B} \\sigma^2$$<\/span><\/p>\n Lorsque le nombre d’arbres $B$<\/span> devient grand, le second terme $(1 – \\rho)\\sigma^2 \/ B$<\/span> s’annule asymptotiquement. La variance de la for\u00eat se trouve ainsi born\u00e9e inf\u00e9rieurement par $\\rho \\sigma^2$<\/span>. Cette formulation math\u00e9matique met en lumi\u00e8re le r\u00f4le capital de la d\u00e9corr\u00e9lation : en abaissant $rho$<\/span> gr\u00e2ce au tirage al\u00e9atoire des pr\u00e9dicteurs, la for\u00eat absorbe la majeure partie de la variance individuelle $\\sigma^2$<\/span> des arbres non \u00e9lagu\u00e9s, conf\u00e9rant au m\u00e9ta-estimateur une stabilit\u00e9 structurelle face au r\u00e9\u00e9chantillonnage qu’aucun arbre de d\u00e9cision isol\u00e9 ne peut esp\u00e9rer atteindre.<\/p>\n Pour appr\u00e9hender formellement la sup\u00e9riorit\u00e9 pr\u00e9dictive usuelle de la for\u00eat al\u00e9atoire sur l’arbre unitaire, il est indispensable de formaliser le dilemme biais-variance. Soit un mod\u00e8le de r\u00e9gression standard d\u00e9fini par la relation $Y = f(X) + varepsilon$<\/span>, o\u00f9 l’erreur al\u00e9atoire irr\u00e9ductible $varepsilon$<\/span> v\u00e9rifie $\\mathbb{E}[\\varepsilon] = 0$<\/span> et $operatorname{Var}(\\varepsilon) = \\sigma_\\varepsilon^2$<\/span>. Soit $\\hat{f}(X)$<\/span> un estimateur empirique calibr\u00e9 sur un ensemble d’entra\u00eenement donn\u00e9. Pour un point de test $x_0$<\/span>, l’erreur quadratique moyenne attendue (Expected Prediction Error<\/em>) se d\u00e9compose selon l’identit\u00e9 classique :<\/p>\n $$\\mathbb{E}[(Y – \\hat{f}(x_0))^2] = \\underbrace{\\left( f(x_0) – \\mathbb{E}[\\hat{f}(x_0)] \\right)^2}_{\\text{Biais}^2} + \\underbrace{operatorname{Var}(\\hat{f}(x_0))}_{\\text{Variance}} + \\underbrace{\\sigma_\\varepsilon^2}_{\\text{Bruit irr\u00e9ductible}}$$<\/span><\/p>\n Dans le cas d’un arbre de d\u00e9cision unitaire d\u00e9velopp\u00e9 sans contrainte d’\u00e9lagage, l’algorithme poursuit la subdivision des n\u0153uds jusqu’\u00e0 isoler des groupes extr\u00eamement restreints d’observations. Ce comportement conf\u00e8re \u00e0 l’arbre un biais structurellement tr\u00e8s faible : le mod\u00e8le poss\u00e8de une capacit\u00e9 d’ajustement suffisante pour capturer les nuances locales les plus fines de la fonction sous-jacente $f(X)$<\/span>. Toutefois, cette flexibilit\u00e9 extr\u00eame se paie au prix d’une variance critique : $operatorname{Var}(\\hat{f}(x_0))$<\/span> explose en raison de la forte d\u00e9pendance du mod\u00e8le vis-\u00e0-vis de l’\u00e9chantillon d’entra\u00eenement sp\u00e9cifique.<\/p>\n L’application d’un \u00e9lagage par co\u00fbt-complexit\u00e9 permet de r\u00e9duire cette variance, mais cette att\u00e9nuation s’op\u00e8re m\u00e9caniquement au d\u00e9triment d’une augmentation du biais au carr\u00e9 : en simplifiant les partitions, l’arbre lisse excessivement les gradients locaux et peut omettre des interactions fines. L’analyse graphique de la courbe d’erreur globale d’un arbre unitaire en fonction de sa profondeur r\u00e9v\u00e8le ainsi une forme en $U$<\/span> caract\u00e9ristique, dont le minimum mat\u00e9rialise le compromis classique biais-variance, mais dont la valeur absolue d’erreur globale demeure souvent \u00e9lev\u00e9e.<\/p>\n La strat\u00e9gie computationnelle des for\u00eats al\u00e9atoires contourne ce dilemme d’une mani\u00e8re conceptuellement radicale. Au lieu de rechercher un compromis en \u00e9laguant les arbres pour restreindre leur variance, l’algorithme de Breiman pr\u00e9serve d\u00e9lib\u00e9r\u00e9ment des arbres unitaires profonds, non \u00e9lagu\u00e9s, d\u00e9velopp\u00e9s jusqu’\u00e0 une puret\u00e9 maximale ou jusqu’\u00e0 des seuils de feuilles minuscules ($\\min_samples_leaf = 1$<\/span> en classification). En proc\u00e9dant ainsi, chaque arbre individuel conserve un biais extr\u00eamement faible, au prix d’une variance individuelle $\\sigma^2$<\/span> tr\u00e8s \u00e9lev\u00e9e.<\/p>\n C’est ici qu’intervient l’effet r\u00e9ducteur de variance de l’assemblage. Reprenant la relation \u00e9tablie dans la section pr\u00e9c\u00e9dente :<\/p>\n $$operatorname{Var}(\\text{For\u00eat}) = \\rho \\sigma^2 + \\frac{1 – \\rho}{B} \\sigma^2$$<\/span><\/p>\n Dans cette \u00e9quation, puisque les arbres conservent leur profondeur maximale, l’op\u00e9ration de moyennage n’augmente nullement le biais du mod\u00e8le global : l’esp\u00e9rance de la moyenne de variables al\u00e9atoires distribu\u00e9es de mani\u00e8re identique est \u00e9gale \u00e0 l’esp\u00e9rance de chacune d’elles ($\\mathbb{E}[\\frac{1}{B} \\sum \\hat{f}_b(x)] = \\mathbb{E}[\\hat{f}_1(x)]$<\/span>). Le biais d’une for\u00eat al\u00e9atoire est donc sensiblement \u00e9gal au faible biais des arbres unitaires profonds qui la composent (avec une \u00e9l\u00e9vation infinit\u00e9simale due \u00e0 la randomisation des pr\u00e9dicteurs).<\/p>\n En augmentant massivement la taille de l’assembl\u00e9e $B$<\/span> (souvent plusieurs centaines d’arbres), la composante r\u00e9siduelle de variance s’annule, tandis que le tirage al\u00e9atoire des sous-espaces de descripteurs r\u00e9duit activement le coefficient de corr\u00e9lation moyen $rho$<\/span>. Par cons\u00e9quent, la for\u00eat al\u00e9atoire parvient \u00e0 r\u00e9duire drastiquement la variance globale sans subir l’\u00e9l\u00e9vation compensatoire de biais qui p\u00e9nalise in\u00e9vitablement les mod\u00e8les unitaires \u00e9lagu\u00e9s. Elle d\u00e9place ainsi vers le bas la courbe du compromis biais-variance, atteignant un seuil d’erreur quadratique globale inaccessible \u00e0 un arbre isol\u00e9.<\/p>\n Sur le plan \u00e9pist\u00e9mologique, l’arbre de d\u00e9cision unitaire est r\u00e9guli\u00e8rement \u00e9rig\u00e9 en \u00e9talon d’or de la transparence algorithmique, d\u00e9sign\u00e9 dans la nomenclature contemporaine de l’intelligence artificielle sous le terme de mod\u00e8le intrins\u00e8quement explicable (interpretable by design<\/em>). Sa structure arborescente permet une auditabilit\u00e9 cognitive directe : un \u00eatre humain peut appr\u00e9hender la logique sous-jacente \u00e0 une pr\u00e9diction sans recourir \u00e0 un quelconque interm\u00e9diaire math\u00e9matique. L’utilisateur suit le flux s\u00e9quentiel des conditions le long d’un chemin unique, validant \u00e0 chaque bifurcation l’ad\u00e9quation clinique ou m\u00e9tier du seuil appliqu\u00e9.<\/p>\n Cette transparence native est en conformit\u00e9 \u00e9troite avec les cadres r\u00e9glementaires contemporains, \u00e0 l’instar du R\u00e8glement G\u00e9n\u00e9ral sur la Protection des Donn\u00e9es (RGPD) au sein de l’Union europ\u00e9enne, qui consacre en son article 22 un v\u00e9ritable \u00ab droit \u00e0 l’explication \u00bb face aux d\u00e9cisions automatis\u00e9es ayant un impact juridique ou significatif sur les personnes physiques. Dans le secteur assurantiel ou m\u00e9dico-l\u00e9gal, l’extraction de propositions logiques formul\u00e9es directement en langage naturel (\u00ab Si l’\u00e2ge est sup\u00e9rieur \u00e0 60 ans et que le taux d’h\u00e9moglobine glyqu\u00e9e d\u00e9passe 7 %, alors le risque est classifi\u00e9 comme \u00e9lev\u00e9 \u00bb) garantit une justification imm\u00e9diate, opposable et v\u00e9rifiable.<\/p>\n Toutefois, cette interpr\u00e9tabilit\u00e9 proclam\u00e9e s’effondre lorsque la structure de l’arbre atteint un degr\u00e9 de complexit\u00e9 sup\u00e9rieur. Au-del\u00e0 d’une profondeur de partitionnement exc\u00e9dant quatre ou cinq niveaux, et lorsque le nombre total de feuilles terminales se compte par dizaines, la capacit\u00e9 de m\u00e9moire de travail de l’op\u00e9rateur humain (born\u00e9e selon la c\u00e9l\u00e8bre heuristique de Miller \u00e0 sept \u00e9l\u00e9ments d’information simultan\u00e9s) est satur\u00e9e. L’arbre devient alors une structure confuse d’interactions conditionnelles en cascade dont la lecture exhaustive ne procure plus aucune intuition explicative authentique, transformant le mod\u00e8le transparent en un labyrinthe cognitif imp\u00e9n\u00e9trable.<\/p>\n En op\u00e9rant la transition vers la for\u00eat al\u00e9atoire, la transparence g\u00e9om\u00e9trique et logique de l’arbre de d\u00e9cision se dissout totalement. En superposant les votes pond\u00e9r\u00e9s ou non de 500 \u00e0 1 000 arbres d\u00e9cisionnels distincts, chacun ayant explor\u00e9 des sous-espaces de variables fragment\u00e9s et des \u00e9chantillons d’individus divergents, le mod\u00e8le acquiert le statut op\u00e9rationnel de \u00ab bo\u00eete noire \u00bb (black box model<\/em>). L’intrication stochastique des trajectoires d’inf\u00e9rence prive le praticien de la possibilit\u00e9 d’\u00e9noncer une r\u00e8gle de d\u00e9cision unique pour expliciter l’attribution d’une classe ou d’une valeur \u00e0 un vecteur de test.<\/p>\n Cette opacit\u00e9 structurelle suscite des tensions \u00e9thiques et professionnelles s\u00e9v\u00e8res, singuli\u00e8rement dans les disciplines \u00e0 haute responsabilit\u00e9 telles que l’oncologie, la justice pr\u00e9dictive ou la gestion du risque syst\u00e9mique bancaire. Face \u00e0 un patient recevant un diagnostic d\u00e9favorable \u00e9mis par une for\u00eat al\u00e9atoire, le clinicien est incapable d’articuler un raisonnement d\u00e9ductif lin\u00e9aire pour justifier la classification algorithmique. L’affirmation selon laquelle \u00ab 73 % des 500 arbres ont vot\u00e9 pour la malignit\u00e9 par des combinaisons vari\u00e9es de biomarqueurs \u00bb ne r\u00e9pond pas aux exigences de la d\u00e9ontologie m\u00e9dicale, qui r\u00e9clame la tra\u00e7abilit\u00e9 causale ou ph\u00e9nom\u00e9nologique du diagnostic.<\/p>\n Le chercheur est ainsi confront\u00e9 au dilemme \u00e9pist\u00e9mologique formul\u00e9 par Leo Breiman lui-m\u00eame dans son manifeste sur les deux cultures statistiques (2001) : choisir entre un mod\u00e8le simple et \u00e9l\u00e9gant, imm\u00e9diatement intelligible mais statistiquement impr\u00e9cis car trop rustique face aux complexit\u00e9s de la nature, ou adopter un mod\u00e8le algorithmique hautement performant mais dont les m\u00e9canismes internes demeurent r\u00e9fractaires \u00e0 l’intuition humaine directe. Pour tenter de combler ce foss\u00e9 sans sacrifier la puissance pr\u00e9dictive, le domaine de l’apprentissage automatique a d\u00fb d\u00e9velopper des m\u00e9thodologies d’explicabilit\u00e9 post-hoc<\/em> d\u00e9di\u00e9es.<\/p>\n Pour dissiper l’opacit\u00e9 inh\u00e9rente aux for\u00eats al\u00e9atoires, plusieurs techniques analytiques ont \u00e9t\u00e9 formalis\u00e9es. Historiquement, la premi\u00e8re mesure int\u00e9gr\u00e9e d\u00e9velopp\u00e9e par Breiman est l’importance des variables par d\u00e9croissance moyenne d’impuret\u00e9 (Mean Decrease Impurity<\/em> ou MDI). Le score MDI d’un descripteur $X_j$<\/span> correspond \u00e0 la somme, pond\u00e9r\u00e9e par l’effectif des n\u0153uds, de toutes les r\u00e9ductions d’impuret\u00e9 (Gini ou variance) induites par ce descripteur \u00e0 travers l’ensemble des arbres de la for\u00eat :<\/p>\n $$MDI(X_j) = \\frac{1}{B} \\sum_{b=1}^B \\sum_{t in T_b : v(t) = X_j} \\frac{N_t}{N} \\Delta I(t, X_j)$$<\/span><\/p>\n1.2 Traitement de la non-lin\u00e9arit\u00e9 et des interactions complexes<\/h3>\n
1.3 Exemple paradigmatique : mod\u00e9lisation de variables h\u00e9t\u00e9rog\u00e8nes<\/h3>\n
![\"example](\"http:\/\/french.arabpsychology.com\/wp-content\/uploads\/2026\/09\/decision2.png\")
2. M\u00e9canismes algorithmiques et m\u00e9triques de partitionnement<\/h2>\n
2.1 Crit\u00e8res d’impuret\u00e9 pour la classification<\/h3>\n
2.2 Crit\u00e8res d’homog\u00e9n\u00e9it\u00e9 pour la r\u00e9gression<\/h3>\n
2.3 Heuristiques d’arr\u00eat et strat\u00e9gies de simplification<\/h3>\n
\n
3. \u00c9mergence des for\u00eats al\u00e9atoires : de l’arbre unique au paradigme d’ensemble<\/h2>\n
3.1 Origines conceptuelles et formulation de Leo Breiman<\/h3>\n
3.2 Loi des grands nombres et convergence asymptotique<\/h3>\n
4. Le double m\u00e9canisme de randomisation dans les for\u00eats al\u00e9atoires<\/h2>\n
4.1 L’agr\u00e9gation bootstrap (Bagging)<\/h3>\n
4.2 S\u00e9lection al\u00e9atoire des sous-espaces de descripteurs (Random Subspace)<\/h3>\n
\n
4.3 Estimation int\u00e9gr\u00e9e de l’erreur hors sac (Out-Of-Bag)<\/h3>\n
5. Comparaison architecturale : mod\u00e8le unitaire versus m\u00e9ta-estimateur<\/h2>\n
5.1 Structure d\u00e9terministe contre agr\u00e9gation stochastique<\/h3>\n
5.2 Sensibilit\u00e9 aux perturbations et instabilit\u00e9 de variance<\/h3>\n
6. Le dilemme biais-variance : divergence th\u00e9orique et pratique<\/h2>\n
6.1 D\u00e9composition math\u00e9matique de l’erreur quadratique attendue<\/h3>\n
6.2 L’effet r\u00e9ducteur de variance des for\u00eats al\u00e9atoires<\/h3>\n
7. Interpr\u00e9tabilit\u00e9, explicabilit\u00e9 et compromis \u00e9pist\u00e9mologique<\/h2>\n
7.1 L’arbre de d\u00e9cision comme mod\u00e8le intrins\u00e8quement transparent<\/h3>\n
7.2 La for\u00eat al\u00e9atoire comme mod\u00e8le bo\u00eete noire<\/h3>\n
7.3 Outils d’explicabilit\u00e9 post-hoc pour les for\u00eats al\u00e9atoires<\/h3>\n