{"id":5563,"date":"2026-09-11T22:59:20","date_gmt":"2026-09-11T22:59:20","guid":{"rendered":"http:\/\/french.arabpsychology.com\/statistics\/xgboost-dans-r-exemple-etape-par-etape\/"},"modified":"2026-09-11T22:59:20","modified_gmt":"2026-09-11T22:59:20","slug":"xgboost-dans-r-exemple-etape-par-etape","status":"publish","type":"psych_stat","link":"https:\/\/french.arabpsychology.com\/?psych_stat=xgboost-dans-r-exemple-etape-par-etape","title":{"rendered":"XGBoost dans R : un exemple \u00e9tape par \u00e9tape"},"content":{"rendered":"

L’av\u00e8nement de l’apprentissage automatique dans l’analyse quantitative a profond\u00e9ment transform\u00e9 la mod\u00e9lisation statistique appliqu\u00e9e, repoussant les limites impos\u00e9es par les mod\u00e8les param\u00e9triques conventionnels. Alors que l’\u00e9conom\u00e9trie classique et la mod\u00e9lisation statistique lin\u00e9aire s’appuient sur des hypoth\u00e8ses strictes de distribution, d’homosc\u00e9dasticit\u00e9 et de lin\u00e9arit\u00e9 des relations sous-jacentes, les sciences computationnelles ont d\u00e9velopp\u00e9 des architectures algorithmiques capables de capturer de mani\u00e8re endog\u00e8ne des structures d’interaction hautement complexes et non lin\u00e9aires. Au premier rang de ces innovations figure l’algorithme XGBoost (Extreme Gradient Boosting)<\/a>, con\u00e7u par Tianqi Chen et Carlos Guestrin en 2016, qui s’est impos\u00e9 comme l’\u00e9talon-or des comp\u00e9titions d’apprentissage automatique et des syst\u00e8mes de production industrielle.<\/p>\n

L’environnement de programmation statistique R, reconnu pour sa rigueur m\u00e9thodologique et son \u00e9cosyst\u00e8me exhaustif d\u00e9di\u00e9 \u00e0 la recherche empirique, constitue une plateforme id\u00e9ale pour le d\u00e9ploiement ma\u00eetris\u00e9 de XGBoost. Gr\u00e2ce au paquetage officiel disponible sur le Comprehensive R Archive Network (CRAN<\/a>) et \u00e0 son int\u00e9gration harmonieuse avec des m\u00e9ta-paquets d’ing\u00e9nierie pr\u00e9dictive tels que caret<\/a>, les chercheurs et les praticiens de la science des donn\u00e9es disposent d’un outillage puissant pour conduire des analyses pr\u00e9dictives fiables, auditables et reproductibles. L’efficacit\u00e9 computationnelle de XGBoost repose sur une impl\u00e9mentation logicielle parall\u00e9lis\u00e9e et optimis\u00e9e au niveau mat\u00e9riel, rendant le traitement des matrices volumineuses particuli\u00e8rement fluide sous R.<\/p>\n

Ce guide propose une exploration exhaustive, th\u00e9orique et appliqu\u00e9e, de l’impl\u00e9mentation de XGBoost au sein de l’environnement R. \u00c0 travers l’analyse m\u00e9ticuleuse d’un jeu de donn\u00e9es canonique issu de la recherche socio-\u00e9conomique et spatiale, chaque \u00e9tape du pipeline de mod\u00e9lisation est d\u00e9cortiqu\u00e9e : des fondements math\u00e9matiques de l’optimisation par descente de gradient p\u00e9nalis\u00e9e jusqu’aux m\u00e9canismes avanc\u00e9s d’interpr\u00e9tabilit\u00e9 locale fond\u00e9s sur les valeurs de Shapley. Ce parcours syst\u00e9matique permettra au lecteur d’acqu\u00e9rir une compr\u00e9hension granulaire des hyperparam\u00e8tres critiques, d’\u00e9viter les \u00e9cueils m\u00e9thodologiques li\u00e9s au surajustement et de ma\u00eetriser la transition entre estimation empirique et inf\u00e9rence d\u00e9cisionnelle robuste.<\/p>\n

1. Fondements th\u00e9oriques du boosting et de l’algorithme XGBoost<\/h2>\n

1.1 Origines conceptuelles et transition du boosting au gradient boosting<\/h3>\n

L’apprentissage ensembliste s\u00e9quentiel trouve son origine th\u00e9orique dans les travaux pionniers de Robert Schapire et Yoav Freund, qui ont formalis\u00e9 la possibilit\u00e9 de combiner une s\u00e9rie d’estimateurs faibles \u2014 c’est-\u00e0-dire pr\u00e9sentant des performances pr\u00e9dictives \u00e0 peine sup\u00e9rieures \u00e0 un tirage purement al\u00e9atoire \u2014 afin de construire un estimateur fort d’une grande robustesse. L’algorithme AdaBoost, d\u00e9velopp\u00e9 en 1995, a marqu\u00e9 la premi\u00e8re mat\u00e9rialisation empirique probante de ce paradigme. Le principe d’AdaBoost repose sur l’attribution adaptative d’un poids aux observations d’entra\u00eenement : \u00e0 chaque it\u00e9ration s\u00e9quentielle, les unit\u00e9s statistiques mal pr\u00e9dites par le classificateur pr\u00e9c\u00e9dent re\u00e7oivent une pond\u00e9ration accrue, contraignant l’estimateur suivant \u00e0 focaliser sa capacit\u00e9 d’ajustement sur les r\u00e9gions de l’espace des descripteurs o\u00f9 l’erreur globale demeure r\u00e9siduelle.<\/p>\n

N\u00e9anmoins, la transition m\u00e9thodologique d\u00e9terminante vers ce que nous nommons aujourd’hui le boosting de gradient a \u00e9t\u00e9 formul\u00e9e par Jerome Friedman en 2001<\/a>. Friedman a g\u00e9n\u00e9ralis\u00e9 l’approche intuitive d’AdaBoost en reformulant le boosting comme un probl\u00e8me d’optimisation num\u00e9rique dans l’espace des fonctions de d\u00e9cision. Dans ce cadre math\u00e9matique, le mod\u00e8le n’ajuste plus des poids sur les individus, mais optimise une fonction de co\u00fbt diff\u00e9rentiable arbitraire par le biais d’une descente de gradient pas \u00e0 pas. \u00c0 chaque cycle de calcul, un nouvel arbre de r\u00e9gression est ajust\u00e9 directement sur les pseudo-r\u00e9sidus, qui correspondent aux d\u00e9riv\u00e9es partielles n\u00e9gatives de la fonction de perte \u00e9valu\u00e9e aux valeurs pr\u00e9dites de l’it\u00e9ration ant\u00e9rieure. Cette conceptualisation a permis d’unifier sous un m\u00eame formalisme la r\u00e9gression par moindres carr\u00e9s, la r\u00e9gression logistique, la r\u00e9gression de Poisson et la mod\u00e9lisation de quantiles.<\/p>\n

Il est fondamental de distinguer sur le plan conceptuel les m\u00e9thodes de bagging (Bootstrap Aggregating), incarn\u00e9es par les for\u00eats al\u00e9atoires de Leo Breiman, et les approches de boosting. Tandis que le bagging construit en parall\u00e8le des arbres profonds et d\u00e9corr\u00e9l\u00e9s sur des sous-\u00e9chantillons bootstrap\u00e9s afin de r\u00e9duire la variance d’un mod\u00e8le instable sans en alt\u00e9rer le biais intrins\u00e8que, le gradient boosting op\u00e8re de mani\u00e8re strictement s\u00e9quentielle. Il additionne des arbres superficiels dot\u00e9s d’un biais \u00e9lev\u00e9 mais d’une tr\u00e8s faible variance, r\u00e9duisant syst\u00e9matiquement l’erreur de biais global \u00e0 mesure que les r\u00e9sidus successifs sont r\u00e9sorb\u00e9s. Cette divergence structurelle conf\u00e8re au gradient boosting une flexibilit\u00e9 d’approximation fonctionnelle sup\u00e9rieure, tout en augmentant sa vuln\u00e9rabilit\u00e9 intrins\u00e8que au surajustement si aucun protocole d’arr\u00eat strict n’est formalis\u00e9.<\/p>\n

1.2 Sp\u00e9cificit\u00e9s math\u00e9matiques et innovations propres \u00e0 XGBoost<\/h3>\n

L’algorithme XGBoost sublime le gradient boosting traditionnel en introduisant une formulation math\u00e9matique hautement formalis\u00e9e qui int\u00e8gre la r\u00e9gularisation directement dans la fonction d’objectif global. Dans les approches ant\u00e9rieures, la r\u00e9gularisation proc\u00e9dait principalement par des crit\u00e8res heuristiques tels que l’\u00e9lagage a posteriori ou la limitation pr\u00e9ventive du nombre de feuilles. XGBoost red\u00e9finit la fonction d’objectif \u00e0 minimiser \u00e0 l’it\u00e9ration courante comme la somme de la perte empirique calcul\u00e9e sur les observations et d’un terme p\u00e9nalisant p\u00e9remptoirement la complexit\u00e9 structurelle des arbres g\u00e9n\u00e9r\u00e9s. Cette r\u00e9gularisation explicite incorpore \u00e0 la fois une p\u00e9nalit\u00e9 de type L1 (Lasso) sur les poids des feuilles, favorisant la parcimonie des pr\u00e9dictions terminales, et une p\u00e9nalit\u00e9 quadratique de type L2 (Ridge), qui stabilise les valeurs pr\u00e9dites en \u00e9vitant des amplitudes disproportionn\u00e9es au sein des n\u0153uds terminaux.<\/p>\n

Sur le plan calculatoire, la rupture majeure d’XGBoost r\u00e9side dans l’utilisation d’un d\u00e9veloppement limit\u00e9 de Taylor au second ordre de la fonction de perte, l\u00e0 o\u00f9 les impl\u00e9mentations conventionnelles du gradient boosting ne mobilisaient que les d\u00e9riv\u00e9es du premier ordre (le gradient). Pour une fonction de perte g\u00e9n\u00e9rale diff\u00e9rentiable, XGBoost calcule analytiquement le gradient du premier ordre ainsi que la matrice hessienne (d\u00e9riv\u00e9e seconde) pour chaque observation. Cette formulation au second ordre permet d’obtenir une approximation locale parabolique extr\u00eamement fine de la trajectoire de l’erreur. Elle autorise le calcul analytique imm\u00e9diat du score de qualit\u00e9 optimal d’une partition potentielle et d\u00e9termine de mani\u00e8re d\u00e9terministe le poids optimal affect\u00e9 \u00e0 chaque feuille de l’arbre sans requ\u00e9rir de sous-optimisations it\u00e9ratives secondaires.<\/p>\n

En outre, l’architecture computationnelle de XGBoost d\u00e9ploie des algorithmes avanc\u00e9s de recherche de point de scission (split finding). Outre l’algorithme glouton exact, qui \u00e9value exhaustivement tous les seuils possibles sur les variables continues tri\u00e9es en m\u00e9moire, XGBoost impl\u00e9mente un algorithme de partitionnement par quantiles pond\u00e9r\u00e9s (weighted quantile sketch). Cet algorithme est capable de proposer des coupures candidates selon une distribution dont les poids sont pond\u00e9r\u00e9s par les valeurs hessiennes des observations, garantissant une approximation th\u00e9oriquement born\u00e9e de l’erreur d’ajustement. Enfin, l’algorithme r\u00e9sout nativement le probl\u00e8me des valeurs manquantes gr\u00e2ce \u00e0 un m\u00e9canisme de routage par d\u00e9faut (sparsity-aware split finding) : lors de la division d’un n\u0153ud, l’algorithme teste l’envoi de l’ensemble des donn\u00e9es manquantes successivement vers le sous-n\u0153ud gauche puis vers le sous-n\u0153ud droit, et s\u00e9lectionne la direction qui maximise le gain d’objectif, enregistrant cette trajectoire de repli pour les inf\u00e9rences ult\u00e9rieures.<\/p>\n

1.3 Pertinence m\u00e9thodologique pour l’analyse quantitative empirique<\/h3>\n

Pour l’\u00e9conom\u00e8tre, le biostatisticien ou le mod\u00e9lisateur de donn\u00e9es socio-\u00e9conomiques, XGBoost repr\u00e9sente un saut qualitatif substantiel dans l’analyse de donn\u00e9es d’observation complexes. Dans les enqu\u00eates empiriques, les ph\u00e9nom\u00e8nes \u00e9tudi\u00e9s pr\u00e9sentent fr\u00e9quemment des non-lin\u00e9arit\u00e9s critiques, des effets de seuil endog\u00e8nes et des interactions multidimensionnelles d’ordre sup\u00e9rieur que les mod\u00e9lisations lin\u00e9aires classiques (comme la r\u00e9gression MCO ou les mod\u00e8les lin\u00e9aires g\u00e9n\u00e9ralis\u00e9s) ne peuvent appr\u00e9hender sans une sp\u00e9cification manuelle pr\u00e9alable et fastidieuse de termes d’interaction. Les arbres de r\u00e9gression agr\u00e9g\u00e9s par gradient boosting d\u00e9coupent l’espace des covariables de fa\u00e7on semi-param\u00e9trique, identifiant automatiquement ces zones d’inflexion comportementale sans imposer de forme fonctionnelle rigide \u00e0 l’analyste.<\/p>\n

Un avantage comparatif d\u00e9terminant de XGBoost r\u00e9side dans son immunit\u00e9 relative face aux pathologies classiques de multicolin\u00e9arit\u00e9 qui affectent l’estimation des param\u00e8tres dans les r\u00e9gressions multidimensionnelles. Lorsque plusieurs pr\u00e9dicteurs pr\u00e9sentent des corr\u00e9lations bivari\u00e9es tr\u00e8s \u00e9lev\u00e9es, les moindres carr\u00e9s ordinaires souffrent d’une inflation dramatique de la variance des estimateurs, rendant l’interpr\u00e9tation des coefficients instable. \u00c0 l’inverse, l’algorithme glouton de partitionnement de XGBoost s\u00e9lectionne \u00e0 chaque n\u0153ud la variable offrant le gain marginal le plus \u00e9lev\u00e9, rel\u00e9guant les variables redondantes \u00e0 des positions subordonn\u00e9es ou les \u00e9cartant simplement des partitions sup\u00e9rieures. La r\u00e9gularisation L2 int\u00e9gr\u00e9e garantit en outre que les poids terminaux ne divergent pas vers des valeurs aberrantes lorsque deux descripteurs partagent une variance commune quasi-parfaite.<\/p>\n

Enfin, l’application de XGBoost aux donn\u00e9es comportementales, sociod\u00e9mographiques et \u00e9conomiques permet d’extraire des signaux pr\u00e9dictifs enfouis au sein de signaux bruit\u00e9s, caract\u00e9ris\u00e9s par une asym\u00e9trie marqu\u00e9e des distributions ou la pr\u00e9sence de sous-populations aux dynamiques h\u00e9t\u00e9rog\u00e8nes. Qu’il s’agisse de mod\u00e9liser la formation des prix fonciers, l’attrition de b\u00e9n\u00e9ficiaires de programmes publics ou le risque de d\u00e9faut de cr\u00e9dit, XGBoost s’adapte aux distributions asym\u00e9triques gr\u00e2ce \u00e0 des fonctions de co\u00fbt modulables tout en maintenant une capacit\u00e9 de g\u00e9n\u00e9ralisation statistique sup\u00e9rieure aux approches d’apprentissage non r\u00e9gularis\u00e9es.<\/p>\n

2. Configuration de l’environnement logiciel et d\u00e9pendances dans R<\/h2>\n

2.1 Installation et chargement des biblioth\u00e8ques fondamentales<\/h3>\n

La mise en \u0153uvre op\u00e9rationnelle d’un pipeline de mod\u00e9lisation supervis\u00e9e fond\u00e9 sur XGBoost dans l’\u00e9cosyst\u00e8me R exige l’installation ordonn\u00e9e d’un ensemble de paquets sp\u00e9cialis\u00e9s. Le composant central est la biblioth\u00e8que logicielle officielle xgboost<\/em>, accessible sur le r\u00e9f\u00e9rentiel du CRAN. Ce paquetage encapsule le moteur de calcul en C++ sous-jacent, hautement optimis\u00e9 pour les architectures mat\u00e9rielles modernes, tout en fournissant une interface d’interaction idiomatique pour les utilisateurs de R. L’installation standard s’effectue via le protocole classique du gestionnaire de paquets de R, mais il est \u00e9galement possible de compiler le paquet depuis les sources pour tirer parti des instructions vectorielles avanc\u00e9es de l’unit\u00e9 centrale de calcul (CPU) ou pour activer le support d’acc\u00e9l\u00e9ration sur processeur graphique (GPU) par le biais des biblioth\u00e8ques CUDA.<\/p>\n

En parall\u00e8le du moteur d’estimation, l’int\u00e9gration du paquetage caret<\/em> (Classification And REgression Training) est fortement pr\u00e9conis\u00e9e pour orchestrer les protocoles de validation crois\u00e9e, l’optimisation syst\u00e9matique des hyperparam\u00e8tres par balayage d’hyper-grilles, et la standardisation des m\u00e9triques d’erreur pr\u00e9dictive. De surcro\u00eet, les calculs de gradient boosting op\u00e9rant exclusivement sur des structures d’alg\u00e8bre lin\u00e9aire, le chargement du paquet Matrix<\/em> est indispensable afin de manipuler les matrices d’adjacence, les matrices denses et les formats de stockage compress\u00e9s de type Compressed Sparse Column (CSC), qui permettent d’\u00e9conomiser l’espace m\u00e9moire allou\u00e9 aux donn\u00e9es massives comportant de multiples modalit\u00e9s nulles.<\/p>\n

Pour concr\u00e9tiser cette infrastructure logicielle, l’analyste proc\u00e8de \u00e0 l’ex\u00e9cution s\u00e9quentielle des commandes de chargement au sein de sa session R interactive ou de son script d’analyse reproductible :<\/p>\n

L’installation s’amorce par l’invocation de install.packages(c(\u00ab\u00a0xgboost\u00a0\u00bb, \u00ab\u00a0caret\u00a0\u00bb, \u00ab\u00a0Matrix\u00a0\u00bb, \u00ab\u00a0MASS\u00a0\u00bb, \u00ab\u00a0ggplot2\u00a0\u00bb, \u00ab\u00a0SHAPforxgboost\u00a0\u00bb))<\/em>. Une fois les binaires d\u00e9ploy\u00e9s sur le syst\u00e8me h\u00f4te, la directive library(xgboost)<\/em> rend disponibles les primitives de bas niveau, tandis que library(caret)<\/em> et library(Matrix)<\/em> viennent adjoindre leurs fonctionnalit\u00e9s respectives pour la formalisation des protocoles d’entra\u00eenement crois\u00e9 et la transformation des objets en matrices creuses ou denses compatibles avec le moteur C++.<\/p>\n

2.2 Gestion de la reproductibilit\u00e9 et environnement d’ex\u00e9cution<\/h3>\n

La reproductibilit\u00e9 scientifique constitue l’un des piliers m\u00e9thodologiques de l’analyse computationnelle contemporaine. Dans la mesure o\u00f9 les algorithmes d’arbres de gradient boosting font intervenir des m\u00e9canismes stochastiques \u2014 tels que le sous-\u00e9chantillonnage al\u00e9atoire des lignes (subsample), la s\u00e9lection al\u00e9atoire de fractions de colonnes (colsample_bytree) ou le d\u00e9coupage al\u00e9atoire des plis de validation crois\u00e9e \u2014, l’absence de fixation stricte des graines d’al\u00e9a g\u00e9n\u00e8re des variations non n\u00e9gligeables d’une ex\u00e9cution \u00e0 l’autre. Il est donc imp\u00e9ratif de d\u00e9clarer de mani\u00e8re programmatique la graine du g\u00e9n\u00e9rateur de nombres pseudo-al\u00e9atoires via la commande set.seed(42)<\/em> (ou toute autre constante enti\u00e8re d\u00e9finie pr\u00e9alablement) en amont de toute manipulation partitionnelle ou de toute phase d’entra\u00eenement.<\/p>\n

Par ailleurs, la gestion des ressources mat\u00e9rielles allou\u00e9es aux calculs parall\u00e8les s’av\u00e8re critique pour calibrer le compromis entre temps d’ex\u00e9cution et saturation de la m\u00e9moire vive de l’ordinateur. Le paquet xgboost<\/em> impl\u00e9mente la parall\u00e9lisation par multithreading via le protocole OpenMP. Les utilisateurs ont la responsabilit\u00e9 de d\u00e9clarer explicitement le nombre de c\u0153urs de calcul d\u00e9volus \u00e0 l’algorithme au moyen du param\u00e8tre nthread<\/em> au sein des configurations de calcul. Sp\u00e9cifier une valeur de nthread = 2<\/em> ou nthread = parallel::detectCores() – 1<\/em> permet de mobiliser efficacement les c\u0153urs logiques tout en pr\u00e9servant un fil d’ex\u00e9cution d\u00e9di\u00e9 \u00e0 la stabilit\u00e9 globale du syst\u00e8me d’exploitation et aux t\u00e2ches d’arri\u00e8re-plan de l’environnement R.<\/p>\n

Pour assurer la p\u00e9rennit\u00e9 et l’auditabilit\u00e9 totale du flux d’analyse, il est vivement recommand\u00e9 d’immortaliser l’\u00e9tat exact de la session logicielle. L’enregistrement syst\u00e9matique de la sortie de la fonction sessionInfo()<\/em> au terme des scripts fournit un journal immuable des versions du compilateur, de la version de base du moteur R, des syst\u00e8mes d’exploitation sous-jacents ainsi que des versions exactes de chaque paquet et de leurs d\u00e9pendances indirectes. Cette rigueur documentaire \u00e9limine les risques d’incompatibilit\u00e9 r\u00e9trospective lors du partage du code avec des tiers ou de la republication acad\u00e9mique des r\u00e9sultats empiriques.<\/p>\n

2.3 Outils annexes d’exploration et de diagnostic graphique<\/h3>\n

Bien que le paquet xgboost<\/em> int\u00e8gre des fonctions de trac\u00e9 rudimentaires, la rigueur d’une \u00e9tude empirique exige l’appui d’un \u00e9cosyst\u00e8me de visualisation graphique perfectionn\u00e9. Le paquet ggplot2<\/em>, reposant sur la grammaire des graphiques formalis\u00e9e par Leland Wilkinson, constitue l’outil de r\u00e9f\u00e9rence pour \u00e9laborer des repr\u00e9sentations visuelles des distributions marginales, des matrices d’association et des diagnostics r\u00e9siduels post-estimation. Son interfa\u00e7age avec les objets de donn\u00e9es tabulaires permet une mise en forme modulaire, adapt\u00e9e aux exigences de publication scientifique.<\/p>\n

Pour p\u00e9n\u00e9trer l’opacit\u00e9 intrins\u00e8que des mod\u00e8les ensemblistes souvent qualifi\u00e9s p\u00e9jorativement de \u00ab bo\u00eetes noires \u00bb, l’importation de modules d\u00e9di\u00e9s \u00e0 l’explicabilit\u00e9 computationnelle est primordiale. Le paquetage SHAPforxgboost<\/em> fournit une passerelle analytique optimis\u00e9e pour extraire et tracer les contributions marginales additives issues de la th\u00e9orie des jeux coop\u00e9ratifs directement depuis les objets de classe xgb.Booster<\/em>. Ce paquet acc\u00e9l\u00e8re le calcul des valeurs d’attribution locale de Shapley en exploitant l’algorithme TreeSHAP, dont la complexit\u00e9 temporelle est polynomiale plut\u00f4t qu’exponentielle, rendant accessible le diagnostic interpr\u00e9table sur de vastes \u00e9chantillons.<\/p>\n

L’articulation de ces composants impose de structurer le script R sous la forme d’un pipeline s\u00e9quentiel \u00e9tanche : initialisation des biblioth\u00e8ques logicielles, fixation des param\u00e8tres mat\u00e9riels et stochastiques, importation des modules graphiques, ingestion des donn\u00e9es et validation des formats matriciels. Cette modularit\u00e9 assure non seulement une lisibilit\u00e9 lin\u00e9aire du code source, mais garantit \u00e9galement qu’aucun artefact computationnel ou effet de bord persistant ne vienne biaiser l’estimation des performances du gradient boosting au cours des phases subs\u00e9quentes.<\/p>\n

3. Pr\u00e9sentation, exploration et diagnostic du jeu de donn\u00e9es Boston<\/h2>\n

3.1 Extraction et structure de la base de donn\u00e9es<\/h3>\n

Afin d’illustrer la d\u00e9marche pas \u00e0 pas sur un cas empirique embl\u00e9matique, nous exploitons le jeu de donn\u00e9es Boston<\/em>, historiquement issu des travaux de recherche \u00e9conom\u00e9trique de David Harrison et Daniel L. Rubinfeld publi\u00e9s en 1978. Ce jeu de donn\u00e9es, accessible directement sous R via le paquet MASS<\/em>, rassemble des mesures quantitatives collect\u00e9es sur 506 secteurs de recensement de l’agglom\u00e9ration m\u00e9tropolitaine de Boston lors du recensement am\u00e9ricain de 1970. Il a servi pendant plusieurs d\u00e9cennies d’\u00e9talon exp\u00e9rimental pour comparer la performance des mod\u00e8les de r\u00e9gression param\u00e9triques et non param\u00e9triques appliqu\u00e9s \u00e0 l’\u00e9conomie urbaine et spatiale.<\/p>\n

Le tableau d’observations compte quatorze colonnes d\u00e9crivant de mani\u00e8re exhaustive la g\u00e9ographie physique, les structures socio-\u00e9conomiques et la qualit\u00e9 environnementale locale. Treize d’entre elles constituent les variables pr\u00e9dictives ind\u00e9pendantes (ou covariables). Parmi celles-ci, on distingue des indicateurs environnementaux tels que la concentration en oxydes d’azote en parties pour dix millions (nox<\/em>), des m\u00e9triques de morphologie r\u00e9sidentielle telles que le nombre moyen de pi\u00e8ces par logement (rm<\/em>) ou la proportion de logements construits avant 1940 (age<\/em>), ainsi que des variables d’accessibilit\u00e9 g\u00e9ographique mesur\u00e9es par les distances pond\u00e9r\u00e9es aux centres d’emploi m\u00e9tropolitains (dis<\/em>) et l’indice d’accessibilit\u00e9 aux axes autoroutiers radiaux (rad<\/em>).<\/p>\n

La variable d\u00e9pendante d’int\u00e9r\u00eat, not\u00e9e medv<\/em>, est une variable continue exprimant la valeur m\u00e9diane des logements occup\u00e9s par leurs propri\u00e9taires, mesur\u00e9e en milliers de dollars de 1970. Le tableau int\u00e8gre \u00e9galement des param\u00e8tres socio-d\u00e9mographiques cruciaux tels que le taux de criminalit\u00e9 par habitant (crim<\/em>), la proportion de terrains allou\u00e9s \u00e0 des zones r\u00e9sidentielles de grande superficie (zn<\/em>), la proportion d’acres d\u00e9volus \u00e0 l’industrie non commerciale (indus<\/em>), le taux de taxation fonci\u00e8re pour 10 000 dollars (tax<\/em>), le ratio \u00e9l\u00e8ves-enseignants par secteur scolaire (ptratio<\/em>), ainsi que le statut \u00e9conomique inf\u00e9rieur de la population (lstat<\/em>), d\u00e9fini par le pourcentage de r\u00e9sidents sans \u00e9ducation secondaire ou sous le seuil de pauvret\u00e9.<\/p>\n

3.2 Analyse descriptive et distributionnelle des variables<\/h3>\n

L’exploration quantitative pr\u00e9alable d’un jeu de donn\u00e9es s’av\u00e8re indispensable pour anticiper les singularit\u00e9s distributionnelles susceptibles d’influencer le comportement de l’algorithme XGBoost. M\u00eame si les arbres de d\u00e9cision poss\u00e8dent une invariance naturelle aux transformations monotones des r\u00e9gresseurs individuels, la mod\u00e9lisation de la cible continue medv<\/em> par une fonction de perte quadratique de type moindres carr\u00e9s demeure vuln\u00e9rable aux fortes asym\u00e9tries et \u00e0 la pr\u00e9sence de valeurs extr\u00eames dans la distribution d\u00e9pendante. L’appel \u00e0 la fonction summary(MASS::Boston)<\/em> r\u00e9v\u00e8le que la valeur m\u00e9diane medv<\/em> s’\u00e9tend de 5.0 \u00e0 50.0 milliers de dollars, avec une moyenne arithm\u00e9tique de 22.53 et une m\u00e9diane de 21.20.<\/p>\n

L’analyse d\u00e9taill\u00e9e des moments d’ordre sup\u00e9rieur (asym\u00e9trie ou skewness<\/em>, et aplatissement ou kurtosis<\/em>) signale que plusieurs pr\u00e9dicteurs affichent des distributions fortement \u00e9tir\u00e9es vers la droite. C’est sp\u00e9cifiquement le cas du taux de criminalit\u00e9 crim<\/em>, dont la valeur minimale est de 0.006 et la m\u00e9diane de 0.256, mais dont la valeur maximale culmine \u00e0 88.97, indiquant une concentration de la criminalit\u00e9 dans une poign\u00e9e de secteurs urbains d\u00e9favoris\u00e9s. De m\u00eame, la variable binaire chas<\/em>, cod\u00e9e 1 si le secteur borde la rivi\u00e8re Charles et 0 dans le cas contraire, pr\u00e9sente un d\u00e9s\u00e9quilibre structurel majeur, puisque seulement 35 secteurs (soit moins de 7 % de l’\u00e9chantillon) b\u00e9n\u00e9ficient de cette proximit\u00e9 fluviale.<\/p>\n

L’examen de la matrice des corr\u00e9lations de Pearson permet d’identifier les vecteurs d’association bivari\u00e9e initiaux avec la cible medv<\/em>. Les descripteurs rm<\/em> (corr\u00e9lation positive d’environ +0.70) et lstat<\/em> (corr\u00e9lation n\u00e9gative d’environ -0.74) apparaissent d’embl\u00e9e comme les pr\u00e9dicteurs les plus fortement corr\u00e9l\u00e9s \u00e0 la valeur m\u00e9diane des logements. Cet \u00e9tat de fait signale que les dynamiques de valorisation immobili\u00e8re \u00e0 Boston sont simultan\u00e9ment tir\u00e9es par la dimension volum\u00e9trique de l’habitat (surface et pi\u00e8ces habitables) et la composition socio-\u00e9conomique de l’environnement imm\u00e9diat. D’autres variables comme ptratio<\/em> (-0.51) et indus<\/em> (-0.48) t\u00e9moignent \u00e9galement d’un impact d\u00e9pressif sensible sur les cours fonciers locaux.<\/p>\n

3.3 Diagnostic de la qualit\u00e9 des donn\u00e9es et int\u00e9grit\u00e9 structurelle<\/h3>\n

L’int\u00e9grit\u00e9 de la structure des donn\u00e9es constitue une pr\u00e9condition imp\u00e9rative \u00e0 l’exploitation analytique. Dans le cadre de l’\u00e9chantillon Boston<\/em> de la biblioth\u00e8que MASS<\/em>, une v\u00e9rification programmatique syst\u00e9matique au moyen de sum(is.na(Boston))<\/em> confirme l’absence totale de valeurs manquantes (valeurs NA). Cette propri\u00e9t\u00e9 facilite les \u00e9tapes pr\u00e9liminaires, bien qu’en pratique r\u00e9elle, XGBoost sache router nativement les valeurs absentes. Le typage des colonnes est strictement num\u00e9rique, partag\u00e9 entre des variables continues de type virgule flottante (double pr\u00e9cision) et des variables enti\u00e8res ou indicatrices, ce qui \u00e9vite les distorsions de conversion textuelle lors de la transcription matricielle.<\/p>\n

Toutefois, un diagnostic approfondi met en lumi\u00e8re une singularit\u00e9 critique de la variable d\u00e9pendante medv<\/em> qui m\u00e9rite une attention soutenue : la pr\u00e9sence d’un plafonnement administratif sup\u00e9rieur (right-censoring). En effet, 16 observations affichent exactement la valeur de 50.0 milliers de dollars, traduisant une troncature artificielle op\u00e9r\u00e9e lors du protocole de recueil des donn\u00e9es en 1970 pour toutes les habitations dont la valeur exc\u00e9dait ce montant. Ce ph\u00e9nom\u00e8ne cr\u00e9e une accumulation anormale d’observations sur la borne sup\u00e9rieure de la distribution, introduisant un risque de biais d’estimation pour les estimateurs lin\u00e9aires classiques. Les arbres de d\u00e9cision segmentent cette discontinuit\u00e9 de mani\u00e8re autonome, mais la pr\u00e9cision pr\u00e9dictive dans le voisinage imm\u00e9diat de 50.0 exige une inspection attentive des r\u00e9sidus.<\/p>\n

Enfin, l’\u00e9valuation spatiale implicite des donn\u00e9es r\u00e9v\u00e8le que les observations ne sont pas rigoureusement ind\u00e9pendantes au sens de l’hypoth\u00e8se canonique d’\u00e9chantillonnage i.i.d. (ind\u00e9pendant et identiquement distribu\u00e9). Les secteurs de recensement voisins partagent des caract\u00e9ristiques structurelles, g\u00e9ographiques et \u00e9conomiques non mesur\u00e9es dans le tableau de donn\u00e9es, induisant une d\u00e9pendance spatiale (autocorr\u00e9lation spatiale). Si un mod\u00e8le spatial formel exigerait une matrice de poids de contigu\u00eft\u00e9, XGBoost compense partiellement ces corr\u00e9lations spatiales en exploitant les covariables de localisation indirecte telles que les distances aux centres \u00e9conomiques (dis<\/em>) et les indices de connexion autorouti\u00e8re (rad<\/em>) pour capturer les tendances spatiales \u00e0 grande \u00e9chelle.<\/p>\n

4. Pr\u00e9traitement rigoureux et pr\u00e9paration des matrices de calcul<\/h2>\n

4.1 Partitionnement de l’\u00e9chantillon d’observation<\/h3>\n

Pour garantir une estimation non biais\u00e9e de l’erreur de g\u00e9n\u00e9ralisation du mod\u00e8le et \u00e9carter tout risque de fuite d’information (data leakage), l’\u00e9chantillon complet de 506 observations doit faire l’objet d’une partitionnement strict avant toute \u00e9tape de calcul ou de s\u00e9lection. La pratique acad\u00e9mique standard pr\u00e9conise de scinder les donn\u00e9es en un ensemble d’apprentissage (training set), rassemblant typiquement 80 % des observations, et un ensemble de test ind\u00e9pendant (testing set), r\u00e9servant les 20 % restants. L’ensemble d’apprentissage servira exclusivement \u00e0 l’estimation des param\u00e8tres de partitionnement des arbres et \u00e0 l’optimisation des hyperparam\u00e8tres par validation crois\u00e9e, tandis que l’ensemble de test demeurera strictement herm\u00e9tique jusqu’\u00e0 l’\u00e9valuation diagnostique finale.<\/p>\n

Plut\u00f4t que d’op\u00e9rer un tirage al\u00e9atoire uniforme simple susceptible d’engendrer, sur un effectif modeste de 506 lignes, des d\u00e9s\u00e9quilibres fortuits dans la distribution de la cible, l’utilisation de la fonction createDataPartition<\/em> du paquet caret<\/em> est hautement recommand\u00e9e. Cette fonction r\u00e9alise un partitionnement stratifi\u00e9 bas\u00e9 sur les quantiles de la variable continue d\u00e9pendante medv<\/em>. En segmentant la distribution empirique de medv<\/em> en sous-groupes homog\u00e8nes avant le tirage al\u00e9atoire, createDataPartition<\/em> garantit que l’ensemble d’apprentissage et l’ensemble de test pr\u00e9sentent des distributions de densit\u00e9, des moyennes et des variances de la cible rigoureusement comparables.<\/p>\n

Sur le plan pratique, l’ex\u00e9cution s’articule comme suit dans le script R : apr\u00e8s avoir fix\u00e9 la graine d’al\u00e9a via set.seed(123)<\/em>, l’analyste g\u00e9n\u00e8re un vecteur d’indices d’entra\u00eenement au moyen de trainIndex <- createDataPartition(Boston$medv, p = 0.8, list = FALSE)<\/em>. Les sous-ensembles d’observations sont alors isol\u00e9s : trainData <- Boston[trainIndex, ]<\/em> et testData <- Boston[-trainIndex, ]<\/em>. \u00c0 partir de cette s\u00e9paration formelle, les matrices des pr\u00e9dicteurs ind\u00e9pendants et les vecteurs des \u00e9tiquettes cibles sont scrupuleusement dissoci\u00e9s pour l’ensemble d’entra\u00eenement d’une part, et pour l’ensemble de validation finale d’autre part.<\/p>\n

4.2 Conversion matricielle et optimisation des types de donn\u00e9es<\/h3>\n

L’un des aspects techniques les plus fondamentaux et souvent sources d’erreurs pour les praticiens r\u00e9side dans la nature des structures de donn\u00e9es admises par XGBoost. Contrairement aux fonctions classiques de mod\u00e9lisation de R telles que lm<\/em>, glm<\/em> ou randomForest<\/em>, qui acceptent directement des data frames et des formules symboliques de type y ~ .<\/em>, le moteur XGBoost refuse cat\u00e9goriquement les objets data frame contenant des facteurs ou des cha\u00eenes de caract\u00e8res. L’algorithme op\u00e8re exclusivement sur des matrices num\u00e9riques denses constitu\u00e9es d’\u00e9l\u00e9ments scalaires r\u00e9els de type numeric<\/em> (ou flottants \u00e0 simple ou double pr\u00e9cision).<\/p>\n

Par cons\u00e9quent, toutes les variables qualitatives ou cat\u00e9gorielles doivent subir une \u00e9tape rigoureuse d’encodage num\u00e9rique un-chaud (one-hot encoding) ou de binarisation indicatrice avant leur transmission au mod\u00e8le. Dans le cas du jeu de donn\u00e9es Boston, la seule variable nominale est la variable de contigu\u00eft\u00e9 fluviale chas<\/em>, qui se trouve d\u00e9j\u00e0 pr\u00e9-encod\u00e9e sous forme binaire 0\/1. Si d’autres colonnes cat\u00e9gorielles \u00e0 plusieurs modalit\u00e9s \u00e9taient pr\u00e9sentes, l’emploi de la fonction model.matrix<\/em> de R permettrait de g\u00e9n\u00e9rer automatiquement une matrice compl\u00e8te d’indicatrices binaires en \u00e9liminant \u00e9l\u00e9gamment la colonne de l’ordonn\u00e9e \u00e0 l’origine (intercept), qui n’a aucun sens fonctionnel dans un partitionnement par arbres de d\u00e9cision.<\/p>\n

Il convient \u00e9galement de soumettre la matrice des pr\u00e9dicteurs \u00e0 un audit de variance afin de s’assurer de l’absence de colonnes d\u00e9g\u00e9n\u00e9r\u00e9es. L’application de la fonction nearZeroVar<\/em> du paquet caret<\/em> permet de v\u00e9rifier qu’aucun descripteur ne pr\u00e9sente une variance nulle ou quasi-nulle. L’inclusion d’une variable quasi-constante est inutile sur le plan de l’information statistique et alourdit inutilement la complexit\u00e9 computationnelle de la recherche de points de scission. Dans le cas de Boston, l’ensemble des treize covariables affiche une diversit\u00e9 de valeurs suffisante, autorisant la conversion imm\u00e9diate des descripteurs sous forme de matrice brute via X_train <- as.matrix(trainData[, -which(names(trainData) == \u00ab\u00a0medv\u00a0\u00bb)])<\/em> et y_train <- trainData$medv<\/em>.<\/p>\n

4.3 Construction des structures natives xgb.DMatrix<\/h3>\n

Bien que XGBoost puisse ex\u00e9cuter des calculs en ing\u00e9rant directement une matrice num\u00e9rique standard issue de la commande as.matrix<\/em>, la m\u00e9thode canonique et optimale consiste \u00e0 encapsuler les pr\u00e9dicteurs et la cible au sein d’un conteneur m\u00e9moire d\u00e9di\u00e9 nomm\u00e9 xgb.DMatrix<\/em>. La classe xgb.DMatrix<\/em> est une structure logicielle opaque et optimis\u00e9e, impl\u00e9ment\u00e9e en C++, sp\u00e9cialement configur\u00e9e pour maximiser la bande passante m\u00e9moire et exploiter au mieux la hi\u00e9rarchie des caches processeur (L1, L2, L3) lors du parcours r\u00e9current des donn\u00e9es au cours de la construction des arbres.<\/p>\n

L’instanciation de cet objet s’effectue via l’appel de fonction : dtrain <- xgb.DMatrix(data = X_train, label = y_train)<\/em> pour l’ensemble d’entra\u00eenement, et de mani\u00e8re parfaitement sym\u00e9trique pour l’ensemble de test : dtest <- xgb.DMatrix(data = X_test, label = y_test)<\/em>. L’int\u00e9gration conjointe de la matrice des variables ind\u00e9pendantes et du vecteur de la cible continue dans une entit\u00e9 unifi\u00e9e garantit une manipulation atomique des donn\u00e9es, \u00e9vitant tout risque de d\u00e9salignement dimensionnel fortuit au cours des \u00e9tapes ult\u00e9rieures de validation crois\u00e9e et d’inf\u00e9rence.<\/p>\n

Sur le plan des performances informatiques pures, l’objet xgb.DMatrix<\/em> pr\u00e9-calcule et stocke les colonnes de donn\u00e9es sous un format compress\u00e9 qui acc\u00e9l\u00e8re consid\u00e9rablement l’\u00e9tape de tri et de recherche des coupures quantiles. De plus, xgb.DMatrix<\/em> permet de consigner des m\u00e9tadonn\u00e9es additionnelles extr\u00eamement pr\u00e9cieuses, telles que des pond\u00e9rations individuelles d’observations (weights), des d\u00e9calages d’ajustement (offsets pour la r\u00e9gression de Poisson) ou des assignations de groupes d’appariement pour les algorithmes de classement (ranking). Cette structure constitue la porte d’entr\u00e9e incontournable de toutes les fonctions de haut niveau du paquet xgboost<\/em>.<\/p>\n

5. Compr\u00e9hension et configuration des hyperparam\u00e8tres cl\u00e9s<\/h2>\n

5.1 Param\u00e8tres g\u00e9n\u00e9raux et fonctions d’objectif de r\u00e9gression<\/h3>\n

La configuration de XGBoost repose sur une distinction formelle entre les param\u00e8tres g\u00e9n\u00e9raux, les param\u00e8tres de l’estimateur de base (booster) et les param\u00e8tres sp\u00e9cifiques de la t\u00e2che d’apprentissage. Concernant l’estimateur sous-jacent, le choix standard et le plus performant pour capturer des structures hautement non lin\u00e9aires est le booster \u00e0 base d’arbres, sp\u00e9cifi\u00e9 par la valeur booster = \u00ab\u00a0gbtree\u00a0\u00bb<\/em>. Bien qu’il existe une variante d’arbres \u00e0 base de fonctions de saut (dart) ou un booster purement lin\u00e9aire (gblinear<\/em>) qui ajuste des r\u00e9gressions r\u00e9gularis\u00e9es de type Elastic Net par descente de coordonn\u00e9es, gbtree<\/em> demeure l’outil privil\u00e9gi\u00e9 de l’apprentissage automatique non param\u00e9trique moderne.<\/p>\n

La s\u00e9lection de la fonction d’objectif constitue l’\u00e9l\u00e9ment math\u00e9matique central qui dicte la direction de l’optimisation. Dans un contexte de r\u00e9gression continue standard o\u00f9 l’on cherche \u00e0 minimiser l’\u00e9cart quadratique moyen sous une hypoth\u00e8se d’erreurs gaussiennes, l’argument indispensable est objective = \u00ab\u00a0reg:squarederror\u00a0\u00bb<\/em>. Cette directive instruit l’algorithme d’utiliser comme fonction de perte empirique la demi-somme des carr\u00e9s des erreurs : L(y, y_hat) = 0.5 * (y – y_hat)^2<\/em>. La d\u00e9riv\u00e9e premi\u00e8re (le gradient) correspond alors simplement \u00e0 la diff\u00e9rence r\u00e9siduelle (y_hat – y)<\/em>, tandis que la d\u00e9riv\u00e9e seconde (la hessienne) est constante et \u00e9gale \u00e0 1 pour chaque observation.<\/p>\n

Enfin, l’\u00e9valuation des performances au cours de la progression it\u00e9rative n\u00e9cessite de d\u00e9clarer une m\u00e9trique de surveillance adapt\u00e9e \u00e0 la distribution d’int\u00e9r\u00eat. Pour notre mod\u00e9lisation de la valeur fonci\u00e8re m\u00e9diane medv<\/em>, l’indicateur universellement retenu est la racine carr\u00e9e de l’erreur quadratique moyenne, configur\u00e9e par eval_metric = \u00ab\u00a0rmse\u00a0\u00bb<\/em>. Le tableau de bord interne de XGBoost calcule ainsi, \u00e0 chaque nouveau palier s\u00e9quentiel d’addition d’arbres, la RMSE sur les donn\u00e9es de calibration et d’\u00e9valuation, fournissant une trajectoire quantitative continue du processus de convergence.<\/p>\n

5.2 Hyperparam\u00e8tres de complexit\u00e9 et de structure de l’arbre<\/h3>\n

La capacit\u00e9 de XGBoost \u00e0 \u00e9viter le surajustement repose principalement sur le contr\u00f4le rigoureux de la morphologie des arbres de d\u00e9cision individuels. Le premier levier structurel est la profondeur maximale de l’arbre, param\u00e9tr\u00e9e par max_depth<\/em>. Cette valeur enti\u00e8re fixe le nombre maximal de divisions verticales successives autoris\u00e9es depuis la racine. Une valeur faible, telle que max_depth = 3<\/em>, contraint chaque arbre \u00e0 ne mod\u00e9liser que des interactions d’ordre 3 au maximum, limitant m\u00e9caniquement la variance de l’estimateur au d\u00e9triment potentiel d’un biais plus important. \u00c0 l’inverse, une profondeur \u00e9lev\u00e9e (par exemple max_depth = 8<\/em> ou 10) autorise l’arbre \u00e0 isoler des sous-segments tr\u00e8s \u00e9troits de l’\u00e9chantillon, capturant des micro-motifs qui s’apparentent fr\u00e9quemment \u00e0 du bruit al\u00e9atoire.<\/p>\n

Le deuxi\u00e8me rempart structurel est le poids minimal des observations dans un n\u0153ud terminal, d\u00e9sign\u00e9 par min_child_weight<\/em>. Dans le cas de la r\u00e9gression quadratique o\u00f9 la hessienne vaut 1, cet hyperparam\u00e8tre repr\u00e9sente approximativement le nombre effectif minimal d’observations n\u00e9cessaires au sein d’une feuille pour autoriser une scission finale. Une valeur \u00e9lev\u00e9e de min_child_weight<\/em> (par exemple 5 ou 10) emp\u00eache l’algorithme d’engendrer des branches consacr\u00e9es \u00e0 l’ajustement sp\u00e9cifique de quelques points aberrants isol\u00e9s, stabilisant ainsi consid\u00e9rablement les extrapolations du mod\u00e8le final.<\/p>\n

Enfin, le param\u00e8tre gamma<\/em> (ou seuil de r\u00e9duction minimale de la perte) incarne un crit\u00e8re de r\u00e9gularisation post-division extr\u00eamement \u00e9l\u00e9gant. Il stipule la r\u00e9duction minimale de la fonction d’objectif exig\u00e9e pour valider d\u00e9finitivement la cr\u00e9ation d’un nouveau n\u0153ud de partitionnement. M\u00eame si un sous-d\u00e9coupage am\u00e9liore marginalement la perte empirique, si ce gain est inf\u00e9rieur \u00e0 la valeur scalaire de gamma<\/em>, la branche correspondante est impitoyablement \u00e9lagu\u00e9e (pruned). L’ajustement de gamma<\/em> introduit ainsi une p\u00e9nalit\u00e9 conservatrice directe sur le nombre total de feuilles d\u00e9ploy\u00e9es dans l’ensemble ensembliste.<\/p>\n

5.3 Taux d’apprentissage et m\u00e9canismes de r\u00e9gularisation stochastique<\/h3>\n

L’hyperparam\u00e8tre central de dynamique it\u00e9rative dans le gradient boosting est le taux d’apprentissage ou facteur de r\u00e9tr\u00e9cissement (shrinkage), d\u00e9sign\u00e9 sous la d\u00e9nomination eta<\/em> dans le paquet xgboost<\/em>. Lorsqu’un nouvel arbre faible est ajust\u00e9 sur les r\u00e9sidus actuels, sa contribution pr\u00e9dictive globale n’est pas ajout\u00e9e int\u00e9gralement \u00e0 l’ensemble existant, mais est multipli\u00e9e par ce coefficient eta<\/em>, compris strictement entre 0 et 1 (typiquement calibr\u00e9 entre 0.01 et 0.1). L’effet math\u00e9matique du r\u00e9tr\u00e9cissement est de ralentir d\u00e9lib\u00e9r\u00e9ment la progression de l’optimisation, for\u00e7ant les arbres ult\u00e9rieurs \u00e0 apprendre des motifs r\u00e9siduels plus nuanc\u00e9s plut\u00f4t que de surcompenser brutalement les erreurs initiales. Un eta<\/em> r\u00e9duit exige en contrepartie un nombre d’it\u00e9rations (nrounds<\/em>) proportionnellement plus \u00e9lev\u00e9 pour atteindre la convergence.<\/p>\n

Pour injecter de la stochasticit\u00e9 b\u00e9n\u00e9fique dans le processus d’apprentissage et briser la d\u00e9pendance d\u00e9terministe entre les arbres s\u00e9quentiels, XGBoost reprend les m\u00e9canismes stochastiques inaugur\u00e9s par Friedman et Breiman. L’hyperparam\u00e8tre subsample<\/em> r\u00e9git la fraction de l’\u00e9chantillon d’apprentissage tir\u00e9e al\u00e9atoirement sans remise avant la construction de chaque nouvel arbre. Une configuration de subsample = 0.8<\/em> signifie que chaque estimateur n’observe que 80 % des donn\u00e9es disponibles, ce qui immunise le syst\u00e8me contre l’influence disproportionn\u00e9e d’un groupe minoritaire d’observations atypiques.<\/p>\n

Simultan\u00e9ment, le param\u00e8tre colsample_bytree<\/em> orchestre un tirage al\u00e9atoire d’une sous-fraction des variables explicatives lors de l’initialisation de chaque arbre (\u00e0 l’instar de ce que pratique l’algorithme Random Forest). Fixer colsample_bytree = 0.7<\/em> impose \u00e0 l’algorithme de n’\u00e9valuer que 70 % des descripteurs disponibles pour structurer un arbre donn\u00e9. Cette d\u00e9corr\u00e9lation artificielle emp\u00eache une ou deux variables massivement dominantes (telles que rm<\/em> ou lstat<\/em> dans le cas de Boston) d’\u00e9touffer syst\u00e9matiquement le potentiel pr\u00e9dictif de variables secondaires mais n\u00e9anmoins informatives (comme nox<\/em>, crim<\/em> ou ptratio<\/em>), maximisant ainsi la diversit\u00e9 structurelle de l’assemblage ensembliste.<\/p>\n

6. Entra\u00eenement d’un mod\u00e8le de r\u00e9f\u00e9rence avec la fonction native xgboost<\/h2>\n

6.1 Ex\u00e9cution s\u00e9quentielle de l’algorithme initial<\/h3>\n

Afin d’\u00e9tablir un point de comparaison analytique (baseline), il est m\u00e9thodologiquement pertinent de proc\u00e9der dans un premier temps \u00e0 l’estimation d’un mod\u00e8le initial au moyen de la fonction native xgboost<\/em>, sans recourir imm\u00e9diatement \u00e0 une optimisation complexe des hyperparam\u00e8tres. Cette premi\u00e8re it\u00e9ration permet de se familiariser avec la cin\u00e9tique calculatoire du paquet et d’observer le comportement du mod\u00e8le dans des conditions param\u00e9triques conventionnelles. La fonction xgboost<\/em> accepte directement une structure xgb.DMatrix<\/em> ou une matrice de descripteurs accompagn\u00e9e de son vecteur d’\u00e9tiquettes.<\/p>\n

Dans ce mod\u00e8le d’\u00e9talonnage, nous fixons d\u00e9lib\u00e9r\u00e9ment le nombre d’it\u00e9rations s\u00e9quentielles \u00e0 une valeur arbitraire standard, par exemple nrounds = 100<\/em>, tout en adoptant les valeurs par d\u00e9faut propos\u00e9es par le paquetage pour les autres param\u00e8tres de r\u00e9gulation : un taux d’apprentissage eta = 0.3<\/em>, une profondeur maximale max_depth = 6<\/em>, et des fractions d’\u00e9chantillonnage de 1 (utilisation exhaustive des lignes et des colonnes). L’instruction d’ex\u00e9cution prend la forme programmatique suivante : model_baseline <- xgboost(data = dtrain, objective = \u00ab\u00a0reg:squarederror\u00a0\u00bb, nrounds = 100, verbose = 1)<\/em>.<\/p>\n

L’argument verbose = 1<\/em> active l’affichage en temps r\u00e9el dans la console R des m\u00e9triques de perte calcul\u00e9es \u00e0 chaque it\u00e9ration s\u00e9quentielle. Cet affichage permet \u00e0 l’analyste de v\u00e9rifier le bon d\u00e9roulement du calcul matriciel et de constater visuellement l’amenuisement continu de l’erreur quadratique moyenne sur les donn\u00e9es de calibration au fur et \u00e0 mesure que les cent arbres successifs viennent s’agr\u00e9ger \u00e0 la fonction pr\u00e9dictive globale.<\/p>\n

6.2 Observation de la dynamique de r\u00e9duction de l’erreur<\/h3>\n

L’examen des trajectoires d’apprentissage g\u00e9n\u00e9r\u00e9es par la fonction native xgboost<\/em> r\u00e9v\u00e8le des propri\u00e9t\u00e9s empiriques hautement instructives. D\u00e8s les premi\u00e8res it\u00e9rations (de l’it\u00e9ration 1 \u00e0 l’it\u00e9ration 10), la racine de l’erreur quadratique moyenne (RMSE) d\u00e9cro\u00eet de mani\u00e8re spectaculaire, passant fr\u00e9quemment d’une valeur initiale proche de la d\u00e9viation standard de la cible (environ 9.2 sur Boston) \u00e0 des valeurs inf\u00e9rieures \u00e0 3.0. Cette chute abrupte t\u00e9moigne de la puissance d’approximation du boosting, capable de capter instantan\u00e9ment les gradients principaux port\u00e9s par les pr\u00e9dicteurs majeurs comme lstat<\/em> et rm<\/em>.<\/p>\n

En extrayant le journal d’\u00e9valuation stock\u00e9 au sein de l’objet r\u00e9sultant via eval_log <- model_baseline$evaluation_log<\/em>, l’analyste peut d\u00e9ployer ggplot2<\/em> pour tracer graphiquement l’\u00e9volution de la m\u00e9trique train_rmse<\/em> en fonction de l’indice des it\u00e9rations de boosting. Ce graphique met typiquement en exergue une phase de transition asymptotique : pass\u00e9 le quaranti\u00e8me ou cinquanti\u00e8me arbre, la courbe de d\u00e9croissance de l’erreur d’apprentissage s’aplatit consid\u00e9rablement, les gains marginaux devenant infinit\u00e9simaux \u00e0 chaque division suppl\u00e9mentaire.<\/p>\n

Aux abords de la centi\u00e8me it\u00e9ration, l’erreur d’entra\u00eenement atteint un niveau extr\u00eamement faible, tombant souvent sous le seuil d’une RMSE de 0.5 millier de dollars. Cependant, cette saturation de la fonction de co\u00fbt sur l’\u00e9chantillon d’entra\u00eenement ne doit pas \u00eatre interpr\u00e9t\u00e9e na\u00efvement comme un triomphe de pr\u00e9cision pr\u00e9dictive. Dans un mod\u00e8le non contraint dot\u00e9 d’un eta<\/em> relativement agressif de 0.3 et d’une profondeur d’arbres de 6, une telle performance interne est l’indicateur classique d’une m\u00e9morisation m\u00e9canique des r\u00e9sidus d’\u00e9chantillonnage plut\u00f4t que de l’apprentissage d’une relation structurelle v\u00e9ritablement g\u00e9n\u00e9ralisable.<\/p>\n

6.3 Limites inh\u00e9rentes au mod\u00e8le initial non calibr\u00e9<\/h3>\n

L’\u00e9valuation critique de ce premier mod\u00e8le met en relief les faiblesses m\u00e9thodologiques r\u00e9dhibitoires d’un entra\u00eenement na\u00eff d\u00e9pourvu de m\u00e9canisme de r\u00e9gulation externe. En laissant l’algorithme s’ex\u00e9cuter jusqu’au terme absolu des 100 it\u00e9rations sans contr\u00f4ler simultan\u00e9ment son erreur sur des donn\u00e9es ind\u00e9pendantes, l’analyste commet une imprudence majeure face au ph\u00e9nom\u00e8ne de surajustement (overfitting). Le mod\u00e8le baseline a tr\u00e8s probablement commenc\u00e9 \u00e0 mod\u00e9liser les bruits idiosyncratiques propres aux 404 observations d’entra\u00eenement, ce qui d\u00e9gradera invariablement sa performance pr\u00e9dictive lorsqu’il sera confront\u00e9 aux 102 observations de test.<\/p>\n

L’absence de p\u00e9nalisation adaptative et d’\u00e9chantillonnage stochastique dans cette configuration par d\u00e9faut engendre une rigidit\u00e9 structurelle. Les arbres successifs continuent d’ajuster des branches complexes pour traquer les r\u00e9sidus les plus marginaux, cr\u00e9ant une surface de d\u00e9cision en escalier excessivement tourment\u00e9e dans l’espace multidimensionnel des treize descripteurs. Sur le plan pratique, l’algorithme ne sait pas quand s’arr\u00eater : il lui manque une boussole de g\u00e9n\u00e9ralisation statistique.<\/p>\n

Cette lacune structurelle d\u00e9montre la n\u00e9cessit\u00e9 imp\u00e9rieuse de transcender la fonction standard xgboost<\/em> au profit d’un protocole d’arr\u00eat pr\u00e9coce (early stopping) et de validation crois\u00e9e syst\u00e9matique. Il devient indispensable d’adjoindre \u00e0 la proc\u00e9dure d’apprentissage un m\u00e9canisme automatis\u00e9 qui mesure l’erreur sur des fragments de donn\u00e9es non expos\u00e9s au calcul du gradient, afin de geler le nombre d’arbres au sommet exact de la courbe de g\u00e9n\u00e9ralisation hors-\u00e9chantillon.<\/p>\n

7. Validation crois\u00e9e et pr\u00e9vention du surajustement via xgb.cv<\/h2>\n

7.1 Mise en \u0153uvre de la validation crois\u00e9e k-fold<\/h3>\n

La biblioth\u00e8que logicielle offre une solution indig\u00e8ne d’une rare efficacit\u00e9 pour r\u00e9soudre le probl\u00e8me de l’\u00e9talonnage du nombre d’arbres : la fonction de validation crois\u00e9e xgb.cv<\/em>. Plut\u00f4t que de s’en remettre \u00e0 une scission statique unique sujette aux al\u00e9as de tirage, xgb.cv<\/em> impl\u00e9mente un partitionnement syst\u00e9matique de l’\u00e9chantillon d’entra\u00eenement en k<\/em> blocs disjoints (usuellement k = 5<\/em> ou k = 10<\/em>). \u00c0 chaque cycle de calcul, k – 1<\/em> blocs sont f\u00e9d\u00e9r\u00e9s pour constituer la base d’estimation du gradient, tandis que le bloc r\u00e9siduel est exclusivement r\u00e9serv\u00e9 \u00e0 l’\u00e9valuation impartiale de la performance hors-\u00e9chantillon.<\/p>\n

Ce protocole est r\u00e9it\u00e9r\u00e9 s\u00e9quentiellement sur l’ensemble des k<\/em> permutations possibles, permettant de calculer \u00e0 chaque it\u00e9ration de boosting non seulement la moyenne de l’erreur d’apprentissage et de validation, mais \u00e9galement son \u00e9cart-type (variance inter-blocs). L’analyse de cet \u00e9cart-type est primordiale pour le mod\u00e9lisateur quantitatif : une d\u00e9viation standard anormalement \u00e9lev\u00e9e entre les blocs de validation signale une forte instabilit\u00e9 du mod\u00e8le, trahissant une sensibilit\u00e9 excessive \u00e0 la composition sp\u00e9cifique de certains sous-\u00e9chantillons d’entra\u00eenement.<\/p>\n

L’appel de la fonction requiert le passage des param\u00e8tres structurants : cv_results <- xgb.cv(params = list(objective = \u00ab\u00a0reg:squarederror\u00a0\u00bb, eval_metric = \u00ab\u00a0rmse\u00a0\u00bb, eta = 0.05, max_depth = 4, subsample = 0.8, colsample_bytree = 0.8), data = dtrain, nrounds = 1000, nfold = 5, showsd = TRUE, print_every_n = 50, early_stopping_rounds = 30)<\/em>. Dans cette configuration, nous injectons un taux d’apprentissage plus conservateur (eta = 0.05<\/em>) et des contraintes stochastiques pour lisser l’apprentissage, tout en augmentant substantiellement la limite th\u00e9orique d’it\u00e9rations \u00e0 1000 arbres.<\/p>\n

7.2 M\u00e9canisme d’arr\u00eat anticip\u00e9 (early stopping)<\/h3>\n

L’argument central introduit dans l’instruction pr\u00e9c\u00e9dente est early_stopping_rounds = 30<\/em>. Cette clause algorithmique constitue le rempart le plus efficient contre le surapprentissage dans les mod\u00e8les de gradient boosting. Son fonctionnement d\u00e9terministe est le suivant : l’algorithme surveille en continu la m\u00e9trique moyenne de test (test-rmse-mean<\/em>) issue de la validation crois\u00e9e \u00e0 chaque it\u00e9ration s\u00e9quentielle. D\u00e8s l’instant o\u00f9 cette m\u00e9trique cesse de s’am\u00e9liorer \u2014 c’est-\u00e0-dire n’\u00e9tablit plus de nouveau minimum historique \u2014 pendant une s\u00e9quence ininterrompue de trente it\u00e9rations cons\u00e9cutives, la boucle d’apprentissage est instantan\u00e9ment interrompue de fa\u00e7on pr\u00e9ventive.<\/p>\n

Ce m\u00e9canisme d’arr\u00eat pr\u00e9coce d\u00e9tecte avec une pr\u00e9cision math\u00e9matique remarquable le point d’inflexion critique du compromis biais-variance. Avant ce seuil optimal, le mod\u00e8le est en phase de sous-apprentissage (underfitting) : l’ajout d’arbres r\u00e9duit simultan\u00e9ment l’erreur d’entra\u00eenement et l’erreur de validation. Au-del\u00e0 de ce point d’inflexion, le mod\u00e8le bascule dans le r\u00e9gime de surajustement (overfitting) : la perte sur l’\u00e9chantillon d’entra\u00eenement continue de d\u00e9cro\u00eetre artificiellement, mais la perte mesur\u00e9e sur les blocs de validation commence \u00e0 stagner puis \u00e0 remonter progressivement sous l’effet de la m\u00e9morisation du bruit statistique.<\/p>\n

En neutralisant automatiquement l’ex\u00e9cution d\u00e8s la survenue de cette divergence, early_stopping_rounds<\/em> lib\u00e8re l’analyste de l’obligation de deviner a priori le nombre id\u00e9al d’estimateurs faibles. L’algorithme isole de fa\u00e7on parfaitement reproductible l’it\u00e9ration exacte garantissant la capacit\u00e9 de g\u00e9n\u00e9ralisation maximale de la structure pr\u00e9dictive sur des donn\u00e9es futures.<\/p>\n

7.3 Exploitation quantitative des r\u00e9sultats de xgb.cv<\/h3>\n

L’objet retourn\u00e9 par l’ex\u00e9cution de xgb.cv<\/em> encapsule un historique complet de l’\u00e9valuation sous la forme d’un tableau de bord de classe data.frame<\/em>, nomm\u00e9 evaluation_log<\/em>. L’acc\u00e8s programmatique \u00e0 l’it\u00e9ration optimale ayant pr\u00e9c\u00e9d\u00e9 la p\u00e9riode de tol\u00e9rance s’effectue directement via l’attribut best_iteration <- cv_results$best_iteration<\/em>. De mani\u00e8re conjointe, l’erreur minimale atteinte hors-\u00e9chantillon est imm\u00e9diatement consultable dans la colonne correspondante : best_score <- cv_results$evaluation_\\log$<\/span>test_rmse_mean[best_iteration]<\/em>.<\/p>\n

Pour documenter rigoureusement la qualit\u00e9 du compromis de g\u00e9n\u00e9ralisation, il est hautement recommand\u00e9 de construire un trac\u00e9 comparatif \u00e0 deux courbes repr\u00e9sentant l’\u00e9volution conjointe de train_rmse_mean<\/em> et de test_rmse_mean<\/em> en fonction du nombre d’it\u00e9rations, enrichi d’un ruban d’incertitude figurant l’intervalle de confiance \u00e0 plus ou moins un \u00e9cart-type (test_rmse_std<\/em>). Ce graphique met en \u00e9vidence la scission progressive entre la trajectoire d’apprentissage et la trajectoire de validation, mat\u00e9rialisant visuellement la barri\u00e8re infranchissable au-del\u00e0 de laquelle l’adjonction de complexit\u00e9 devient contre-productive.<\/p>\n

La valeur de best_iteration<\/em> ainsi extraite de mani\u00e8re robuste ne constitue pas une simple curiosit\u00e9 descriptive : elle repr\u00e9sente l’hyperparam\u00e8tre d\u00e9finitif de dur\u00e9e d’entra\u00eenement qui sera inject\u00e9 dans la fonction d’apprentissage finale. En calibrant la dur\u00e9e d’entra\u00eenement sur cette borne empirique exacte, l’analyste s’assure de d\u00e9ployer un mod\u00e8le calibr\u00e9 sur l’int\u00e9gralit\u00e9 des donn\u00e9es d’apprentissage sans courir le moindre risque de d\u00e9gradation par sur-sp\u00e9cification.<\/p>\n

8. Optimisation syst\u00e9matique des hyperparam\u00e8tres avec caret<\/h2>\n

8.1 Conception d’une grille de recherche multidimensionnelle<\/h3>\n

Bien que la d\u00e9termination empirique du nombre optimal d’arbres par xgb.cv<\/em> constitue une avanc\u00e9e majeure, XGBoost d\u00e9pend simultan\u00e9ment d’une constellation d’hyperparam\u00e8tres structurels en forte interaction non lin\u00e9aire. Ajuster ces param\u00e8tres unitairement de fa\u00e7on heuristique est une d\u00e9marche sous-optimale, car l’impact d’une modification de la profondeur max_depth<\/em> est intimement tributaire du taux d’apprentissage eta<\/em> et des fractions de sous-\u00e9chantillonnage appliqu\u00e9es. Une approche rigoureuse impose de proc\u00e9der \u00e0 une recherche multidimensionnelle syst\u00e9matique (grid search) explorant l’espace cart\u00e9sien des configurations candidates.<\/p>\n

Au sein de l’environnement R, le paquet caret<\/em> excelle dans la formalisation de cette exploration gr\u00e2ce \u00e0 la fonction expand.grid<\/em>. L’analyste y d\u00e9clare une grille combinatoire exhaustive en sp\u00e9cifiant les vecteurs de valeurs \u00e0 croiser imp\u00e9rativement. Pour notre cas d’\u00e9tude sur le jeu de donn\u00e9es Boston, une grille repr\u00e9sentative explorera typiquement :<\/p>\n