{"id":4088,"date":"2026-10-14T18:01:11","date_gmt":"2026-10-14T18:01:11","guid":{"rendered":"http:\/\/french.arabpsychology.com\/statistics\/guide-complet-regression-pas-a-pas-dans-r\/"},"modified":"2026-10-14T18:01:11","modified_gmt":"2026-10-14T18:01:11","slug":"guide-complet-regression-pas-a-pas-dans-r","status":"publish","type":"psych_stat","link":"https:\/\/french.arabpsychology.com\/?psych_stat=guide-complet-regression-pas-a-pas-dans-r","title":{"rendered":"Un guide complet de la r\u00e9gression pas \u00e0 pas dans R"},"content":{"rendered":"

Dans le champ de la mod\u00e9lisation statistique appliqu\u00e9e et de l’\u00e9conom\u00e9trie moderne, la s\u00e9lection d’un sous-ensemble optimal de variables pr\u00e9dictives constitue l’un des d\u00e9fis m\u00e9thodologiques les plus persistants et complexes. Confront\u00e9s \u00e0 des matrices d’observation de dimensionnalit\u00e9 croissante, o\u00f9 le nombre de pr\u00e9dicteurs potentiels rivalise parfois avec la taille de l’\u00e9chantillon, les analystes de donn\u00e9es cherchent constamment \u00e0 concilier deux imp\u00e9ratifs contradictoires : l’exhaustivit\u00e9 explicative et la parcimonie structurelle. La r\u00e9gression pas \u00e0 pas, d\u00e9sign\u00e9e couramment sous le terme anglo-saxon de stepwise regression<\/em>, s’est impos\u00e9e d\u00e8s les premi\u00e8res heures du calcul automatis\u00e9 comme une tentative algorithmique s\u00e9duisante pour r\u00e9soudre ce dilemme d’optimisation combinatoire sans exiger l’exploration exhaustive de l’espace exponentiel des mod\u00e8les possibles.<\/p>\n

Au sein de l’\u00e9cosyst\u00e8me de programmation R<\/a>, plateforme de r\u00e9f\u00e9rence pour l’analyse computationnelle et la recherche quantitative, l’impl\u00e9mentation de la r\u00e9gression pas \u00e0 pas b\u00e9n\u00e9ficie d’une infrastructure logicielle particuli\u00e8rement riche, s’\u00e9tendant des fonctions primitives du moteur de base jusqu’aux biblioth\u00e8ques d’avant-garde d\u00e9di\u00e9es \u00e0 l’\u00e9valuation diagnostique. Toutefois, l’automatisation de la s\u00e9lection ne saurait affranchir le chercheur d’une compr\u00e9hension intime des m\u00e9canismes sous-jacents. L’usage aveugle de ces proc\u00e9dures algorithmiques expose l’analyste \u00e0 des \u00e9cueils majeurs, tels que l’inflation spectaculaire du taux d’erreur de type I, la distorsion des intervalles de confiance et la sur\u00e9valuation structurelle des coefficients de r\u00e9gression retenus.<\/p>\n

Ce guide exhaustif a pour vocation d’offrir une d\u00e9construction th\u00e9orique, computationnelle et critique de la r\u00e9gression pas \u00e0 pas dans l’environnement R. En explorant successivement les fondements math\u00e9matiques des m\u00e9triques d’ajustement, les protocoles d’impl\u00e9mentation algorithmique \u00e0 travers des biblioth\u00e8ques canoniques telles que MASS<\/a> et olsrr<\/a>, ainsi que les diagnostics post-s\u00e9lection et les alternatives contemporaines r\u00e9gularis\u00e9es, cet ouvrage entend doter les praticiens d’une grille de lecture rigoureuse. L’objectif ultime n’est pas simplement d’ex\u00e9cuter un algorithme de tri automatis\u00e9, mais de ma\u00eetriser les compromis \u00e9pist\u00e9mologiques qui s\u00e9parent la d\u00e9couverte exploratoire guid\u00e9e par les donn\u00e9es de l’inf\u00e9rence confirmatoire robuste.<\/p>\n

1. Introduction aux fondements th\u00e9oriques de la r\u00e9gression pas \u00e0 pas<\/h2>\n

1.1 D\u00e9finition et principes fondamentaux de la r\u00e9gression pas \u00e0 pas<\/h3>\n

La r\u00e9gression pas \u00e0 pas est un protocole de recherche it\u00e9rative qui vise \u00e0 construire un mod\u00e8le lin\u00e9aire en int\u00e9grant ou en retranchant s\u00e9quentiellement des covariables \u00e0 partir d’un ensemble pr\u00e9d\u00e9fini de candidats potentiels. Fond\u00e9e sur des r\u00e8gles d’arr\u00eat math\u00e9matiques strictes, cette technique aborde le probl\u00e8me classique de la s\u00e9lection de variables lorsque l’espace combinatoire total, \u00e9gal \u00e0 deux puissances p<\/em> pour p<\/em> covariables, devient prohibitif pour une estimation par force brute. Le processus \u00e9value \u00e0 chaque \u00e9tape la contribution marginale de chaque variable candidate, mesur\u00e9e soit par la variation d’un crit\u00e8re d’information global, soit par la valeur d’un test d’hypoth\u00e8se lin\u00e9aire partiel, modifiant ainsi la structure du pr\u00e9dicteur lin\u00e9aire de fa\u00e7on d\u00e9terministe.<\/p>\n

Sur le plan m\u00e9thodologique, la r\u00e9gression stepwise poursuit deux objectifs interd\u00e9pendants : la r\u00e9duction de la dimensionnalit\u00e9 et la maximisation du principe de parcimonie, formalis\u00e9 historiquement par le rasoir d’Ockham. Dans le cadre de l’estimation par les moindres carr\u00e9s ordinaires, l’adjonction syst\u00e9matique de r\u00e9gresseurs entra\u00eene invariablement une hausse m\u00e9canique ou une stagnation du coefficient de d\u00e9termination non ajust\u00e9, tout en augmentant la variance de l’\u00e9chantillonnage des coefficients estim\u00e9s. La m\u00e9thode pas \u00e0 pas s’efforce de localiser une fronti\u00e8re d’\u00e9quilibre o\u00f9 chaque r\u00e9gresseur conserv\u00e9 compense l’accroissement de variance qu’il induit par une diminution substantielle du biais r\u00e9siduel du mod\u00e8le.<\/p>\n

Il convient n\u00e9anmoins de tracer une ligne de d\u00e9marcation \u00e9pist\u00e9mologique fondamentale entre la mod\u00e9lisation purement explicative et la mod\u00e9lisation pr\u00e9dictive automatis\u00e9e. Dans une d\u00e9marche explicative issue des sciences empiriques, l’inclusion d’une variable r\u00e9pond \u00e0 des hypoth\u00e8ses causales pr\u00e9\u00e9tablies, ind\u00e9pendantes des al\u00e9as de l’\u00e9chantillonnage instantan\u00e9. \u00c0 l’inverse, l’approche pas \u00e0 pas rel\u00e8ve d’une heuristique purement inductive pilot\u00e9e par les donn\u00e9es (data-driven<\/em>). Elle ne teste pas une th\u00e9orie mais optimise une fonction de co\u00fbt empirique, ce qui modifie la nature m\u00eame des inf\u00e9rences ult\u00e9rieures et rend caduque l’interpr\u00e9tation classique des degr\u00e9s de libert\u00e9 associ\u00e9s aux distributions d’\u00e9chantillonnage.<\/p>\n

1.2 La typologie des m\u00e9thodes pas \u00e0 pas<\/h3>\n

L’espace m\u00e9thodologique de la s\u00e9lection s\u00e9quentielle se divise traditionnellement en trois architectures algorithmiques distinctes : l’approche ascendante, l’approche descendante et l’approche bidirectionnelle. La s\u00e9lection ascendante, ou forward selection<\/em>, initie sa trajectoire computationnelle au sein d’un mod\u00e8le nul, structurellement r\u00e9duit au seul terme constant d’interception. \u00c0 chaque it\u00e9ration, l’algorithme parcourt l’ensemble des covariables non encore incorpor\u00e9es, calcule leur apport pr\u00e9dictif univari\u00e9 conditionnellement aux termes d\u00e9j\u00e0 pr\u00e9sents, et retient celle qui engendre la plus forte am\u00e9lioration statistique. Le processus se r\u00e9it\u00e8re jusqu’\u00e0 ce qu’aucun candidat r\u00e9siduel ne satisfasse au crit\u00e8re d’entr\u00e9e formel.<\/p>\n

\u00c0 l’oppos\u00e9 diam\u00e9tral, l’\u00e9limination descendante, d\u00e9sign\u00e9e sous l’appellation backward elimination<\/em>, adopte pour configuration initiale le mod\u00e8le satur\u00e9, incorporant l’ensemble exhaustif des covariables mesur\u00e9es. L’algorithme proc\u00e8de alors par soustraction chirurgicale : \u00e0 chaque phase, le r\u00e9gresseur dont l’absence d\u00e9grade le moins l’ajustement global ou dont la non-significativit\u00e9 marginale est la plus prononc\u00e9e est irr\u00e9m\u00e9diablement \u00e9limin\u00e9. Cette approche descendante est souvent consid\u00e9r\u00e9e par les statisticiens comme sup\u00e9rieure \u00e0 la d\u00e9marche ascendante, car elle \u00e9value l’impact de chaque variable en pr\u00e9sence conditionnelle de toutes les autres, permettant ainsi de pr\u00e9server des structures d’effets conjoints qui \u00e9chapperaient \u00e0 une int\u00e9gration s\u00e9quentielle isol\u00e9e.<\/p>\n

La s\u00e9lection bidirectionnelle, ou both-direction stepwise<\/em>, fusionne les deux paradigmes pr\u00e9c\u00e9dents en un syst\u00e8me dynamique \u00e0 r\u00e9troaction continue. D\u00e9butant indiff\u00e9remment d’un mod\u00e8le nul, interm\u00e9diaire ou satur\u00e9, elle combine \u00e0 chaque \u00e9tape un test d’adjonction de nouvelles variables candidates avec une v\u00e9rification r\u00e9trospective de la pertinence des pr\u00e9dicteurs pr\u00e9c\u00e9demment accept\u00e9s. En effet, l’introduction ult\u00e9rieure d’une variable fortement corr\u00e9l\u00e9e peut rendre superflue une covariable s\u00e9lectionn\u00e9e lors d’une phase pr\u00e9coce. Cette flexibilit\u00e9 combinatoire conf\u00e8re \u00e0 l’approche bidirectionnelle une robustesse accrue, bien qu’elle ne garantisse nullement l’atteinte d’un optimum global dans les espaces de recherche non convexes.<\/p>\n

1.3 Pertinence et d\u00e9fis dans les sciences quantitatives et psychologiques<\/h3>\n

Dans les disciplines empiriques contemporaines, et plus particuli\u00e8rement en psychologie quantitative, en neurosciences cognitives et en \u00e9pid\u00e9miologie comportementale, la collecte de donn\u00e9es s’est m\u00e9tamorphos\u00e9e gr\u00e2ce aux technologies num\u00e9riques. Les chercheurs se trouvent r\u00e9guli\u00e8rement en possession de batteries psychom\u00e9triques complexes comprenant des centaines d’\u00e9chelles, de sous-scores comportementaux et de marqueurs physiologiques. Dans ces contextes exploratoires \u00e0 haute dimensionnalit\u00e9, la r\u00e9gression pas \u00e0 pas a longtemps constitu\u00e9 l’outil par d\u00e9faut pour filtrer les signaux informatifs au sein d’un oc\u00e9an de bruits statistiques, fournissant une synth\u00e8se automatis\u00e9e aux \u00e9quipes de recherche.<\/p>\n

N\u00e9anmoins, cette s\u00e9duisante commodit\u00e9 op\u00e9rationnelle s’accompagne d’une vuln\u00e9rabilit\u00e9 m\u00e9thodologique majeure : l’inflation exponentielle de l’erreur de type I, couramment appel\u00e9e risque de fausse d\u00e9couverte. En ex\u00e9cutant des dizaines, voire des centaines de tests d’hypoth\u00e8ses implicites non corrig\u00e9s au gr\u00e9 des it\u00e9rations de l’algorithme, les seuils de significativit\u00e9 conventionnels (par exemple, alpha = 0,05) perdent toute signification probabiliste r\u00e9elle. Des covariables parfaitement orthogonales au ph\u00e9nom\u00e8ne sous-jacent peuvent para\u00eetre statistiquement indispensables par simple capitalisation sur la variance d’\u00e9chantillonnage, conduisant \u00e0 la publication de r\u00e9sultats fallacieux et non reproductibles dans la litt\u00e9rature scientifique.<\/p>\n

Ces d\u00e9rives ont suscit\u00e9 une profonde remise en question \u00e9pist\u00e9mologique au sein des sciences quantitatives. Le cadre m\u00e9thodologique moderne exige de tracer une d\u00e9marcation nette entre les protocoles strictement confirmatoires, o\u00f9 les mod\u00e8les doivent \u00eatre pr\u00e9enregistr\u00e9s sur la base d’un cadre th\u00e9orique solide, et les analyses exploratoires g\u00e9n\u00e9ratrices d’hypoth\u00e8ses. L’usage de la r\u00e9gression pas \u00e0 pas dans les sciences du comportement ne peut \u00eatre tol\u00e9r\u00e9 que si les praticiens int\u00e8grent explicitement l’incertitude li\u00e9e \u00e0 la s\u00e9lection du mod\u00e8le, reconnaissant que l’ordonnancement math\u00e9matique des covariables ne refl\u00e8te que des contingences distributionnelles locales plut\u00f4t qu’une structure causale invariante.<\/p>\n

2. Configuration de l’environnement de calcul R et exploration des donn\u00e9es<\/h2>\n

2.1 Pr\u00e9paration du syst\u00e8me R et importation des biblioth\u00e8ques n\u00e9cessaires<\/h3>\n

Pour garantir une analyse statistique rigoureuse, reproductible et exempte de divergences num\u00e9riques au sein de l’environnement R, la configuration initiale de la session de travail constitue une \u00e9tape pr\u00e9liminaire fondamentale. L’\u00e9cosyst\u00e8me R moderne offre un ensemble articul\u00e9 de biblioth\u00e8ques compl\u00e9mentaires permettant de couvrir toutes les phases de l’analyse, depuis l’ajustement s\u00e9quentiel jusqu’aux diagnostics graphiques avanc\u00e9s. L’installation et l’appel des biblioth\u00e8ques fondamentales doivent \u00eatre orchestr\u00e9s m\u00e9thodiquement au d\u00e9but du script d’analyse pour assurer l’interop\u00e9rabilit\u00e9 des structures de donn\u00e9es et des m\u00e9thodes associ\u00e9es.<\/p>\n

Le socle analytique repose sur quatre composantes logicielles ma\u00eetresses. La biblioth\u00e8que MASS<\/a> (Modern Applied Statistics with S) fournit les routines canoniques n\u00e9cessaires \u00e0 l’impl\u00e9mentation du crit\u00e8re d’Akaike g\u00e9n\u00e9ralis\u00e9 via des fonctions sp\u00e9cialis\u00e9es. Le package car<\/a> (Companion to Applied Regression) met \u00e0 disposition des instruments diagnostiques de premier plan, notamment pour l’\u00e9valuation de la colin\u00e9arit\u00e9 multivari\u00e9e par les facteurs d’inflation de la variance. La biblioth\u00e8que sp\u00e9cialis\u00e9e olsrr<\/strong> apporte un environnement d\u00e9di\u00e9 \u00e0 la d\u00e9composition pas \u00e0 pas pas assist\u00e9e par tests de Fisher, tandis que la suite tidyverse<\/a> fluidifie les op\u00e9rations de transformation matricielle et d’exploration tabulaire.<\/p>\n

Au-del\u00e0 de l’activation des modules logiciels, le contr\u00f4le de l’environnement num\u00e9rique requiert la fixation d’une graine pseudo-al\u00e9atoire \u00e0 travers l’instruction standardis\u00e9e de fixation de la graine g\u00e9n\u00e9ratrice, garantissant la parfaite r\u00e9plicabilit\u00e9 des proc\u00e9dures r\u00e9\u00e9chantillonn\u00e9es ou des d\u00e9compositions stochastiques ult\u00e9rieures. Conjointement, le param\u00e9trage des options globales de l’interpr\u00e9teur R, notamment la fixation du nombre de d\u00e9cimales significatives affich\u00e9es et la d\u00e9sactivation de la conversion automatique des cha\u00eenes de caract\u00e8res en facteurs cat\u00e9goriels, assure la stabilit\u00e9 des affichages tabulaires lors de l’extraction des matrices de variance-covariance des estimateurs.<\/p>\n

2.2 Structure et caract\u00e9ristiques du jeu de donn\u00e9es mtcars<\/h3>\n

Afin d’illustrer concr\u00e8tement les comportements algorithmiques de la s\u00e9lection s\u00e9quentielle sans introduire de complexit\u00e9s de pr\u00e9traitement parasites, le jeu de donn\u00e9es classique mtcars<\/strong>, extrait du magazine Motor Trend US<\/em> de 1974, constitue un terrain d’exp\u00e9rimentation standardis\u00e9 id\u00e9al. Cette base d’observations comprend 32 v\u00e9hicules automobiles caract\u00e9ris\u00e9s par 11 dimensions physiques et m\u00e9caniques distinctes. Malgr\u00e9 sa dimensionnalit\u00e9 restreinte, cette matrice pr\u00e9sente une densit\u00e9 remarquable d’interd\u00e9pendances lin\u00e9aires et non lin\u00e9aires, repr\u00e9sentative des d\u00e9fis analytiques pos\u00e9s par les ensembles de donn\u00e9es empiriques.<\/p>\n

La variable r\u00e9ponse d\u00e9sign\u00e9e pour notre trajectoire de mod\u00e9lisation est la consommation \u00e9nerg\u00e9tique exprim\u00e9e en miles par gallon (variable mpg<\/em>), grandeur continue invers\u00e9e de la consommation au cent kilom\u00e8tre. Les dix pr\u00e9dicteurs restants englobent des grandeurs discr\u00e8tes et continues : le nombre de cylindres (cyl<\/em>), la cylindr\u00e9e du bloc moteur (disp<\/em>), la puissance brute d\u00e9velopp\u00e9e (hp<\/em>), le rapport de d\u00e9multiplication du pont arri\u00e8re (drat<\/em>), le poids \u00e0 vide du v\u00e9hicule en milliers de livres (wt<\/em>), le temps chronom\u00e9tr\u00e9 sur un quart de mille (qsec<\/em>), la g\u00e9om\u00e9trie des cylindres en V ou en ligne (vs<\/em>), la transmission manuelle ou automatique (am<\/em>), le nombre de rapports de bo\u00eete (gear<\/em>), et enfin le nombre de carburateurs (carb<\/em>).<\/p>\n

L’\u00e9valuation des statistiques descriptives univari\u00e9es de la variable endog\u00e8ne mpg<\/em> met en lumi\u00e8re une distribution relativement sym\u00e9trique, affichant une moyenne empirique de 20,09 et une m\u00e9diane situ\u00e9e \u00e0 19,20 miles par gallon, pour un \u00e9cart-type de 6,03. L’inspection des indices de forme r\u00e9v\u00e8le une asym\u00e9trie positive mod\u00e9r\u00e9e (skewness de 0,61) accompagn\u00e9e d’un aplatissement l\u00e9g\u00e8rement platykurtique (kurtosis d’exc\u00e8s n\u00e9gatif de -0,37). Les pr\u00e9dicteurs continus tels que le poids (wt<\/em>) et la puissance (hp<\/em>) pr\u00e9sentent des dispersions marqu\u00e9es, sugg\u00e9rant des variances d’\u00e9chantillonnage h\u00e9t\u00e9rog\u00e8nes qui n\u00e9cessiteront une attention particuli\u00e8re lors de l’examen de l’influence locale des r\u00e9sidus.<\/p>\n

2.3 Analyse exploratoire multivari\u00e9e et d\u00e9tection des colin\u00e9arit\u00e9s<\/h3>\n

L’investigation pr\u00e9liminaire de la matrice de covariance multivari\u00e9e est un passage oblig\u00e9 avant toute mod\u00e9lisation pas \u00e0 pas. Le calcul des coefficients de corr\u00e9lation lin\u00e9aire de Pearson entre l’ensemble des r\u00e9gresseurs continus d\u00e9montre une interp\u00e9n\u00e9tration massive des informations v\u00e9hicul\u00e9es par les variables ind\u00e9pendantes. On observe en particulier une corr\u00e9lation bivari\u00e9e n\u00e9gative colossale entre la variable r\u00e9ponse mpg<\/em> et le poids du v\u00e9hicule wt<\/em> (r = -0,87), ainsi qu’avec la cylindr\u00e9e disp<\/em> (r = -0,85) et le nombre de cylindres cyl<\/em> (r = -0,85), t\u00e9moignant d’une redondance structurelle \u00e9lev\u00e9e au sein des pr\u00e9dicteurs physiques.<\/p>\n

Cette redondance se manifeste avec une acuit\u00e9 particuli\u00e8re lors de l’examen des paires crois\u00e9es de r\u00e9gresseurs ind\u00e9pendants : la corr\u00e9lation de Pearson unissant la cylindr\u00e9e (disp<\/em>) et le nombre de cylindres (cyl<\/em>) culmine \u00e0 r = 0,90, tandis que l’association entre le poids (wt<\/em>) et la cylindr\u00e9e atteint r = 0,89. La visualisation graphique via des matrices de dispersion crois\u00e9es illustre la g\u00e9om\u00e9trie sous-jacente de ces relations, r\u00e9v\u00e9lant que les donn\u00e9es occupent un sous-espace vectoriel comprim\u00e9 au sein de l’espace de configuration dimensionnel, propice \u00e0 des instabilit\u00e9s d’inversion matricielle.<\/p>\n

Pour quantifier math\u00e9matiquement l’intensit\u00e9 de cette multicolin\u00e9arit\u00e9 avant m\u00eame d’enclencher la s\u00e9lection, le calcul des Facteurs d’Inflation de la Variance (VIF) sur le mod\u00e8le complet initial s’av\u00e8re \u00e9clairant. Les valeurs de VIF associ\u00e9es \u00e0 des r\u00e9gresseurs fondamentaux tels que cyl<\/em> et disp<\/em> d\u00e9passent largement le seuil d’alerte m\u00e9thodologique conventionnel fix\u00e9 \u00e0 10, atteignant des magnitudes respectives de 15,37 et 21,62. Ces r\u00e9sultats annoncent de fa\u00e7on \u00e9clatante que l’estimation conjointe de ces param\u00e8tres souffrira d’une variance asymptotique d\u00e9grad\u00e9e, cr\u00e9ant un terrain d’instabilit\u00e9 extr\u00eame pour les crit\u00e8res de s\u00e9lection s\u00e9quentiels qui devront arbitrer entre ces variables concurrentes.<\/p>\n

3. Crit\u00e8res statistiques de s\u00e9lection et m\u00e9triques d’ajustement<\/h2>\n

3.1 Le crit\u00e8re d’information d’Akaike (AIC)<\/h3>\n

Le crit\u00e8re d’information d’Akaike (AIC), introduit par le statisticien Hirotugu Akaike en 1974, constitue l’un des piliers conceptuels de l’analyse moderne des s\u00e9ries de mod\u00e8les concurrents. Ce crit\u00e8re est formellement d\u00e9fini comme moins deux fois la log-vraisemblance maximis\u00e9e du mod\u00e8le ajust\u00e9, additionn\u00e9e d’une p\u00e9nalit\u00e9 lin\u00e9aire strictement proportionnelle au nombre de param\u00e8tres libres estim\u00e9s, soit :<\/p>\n

AIC = -2 ln(L) + 2k<\/p>\n

Dans cette formulation \u00e9l\u00e9gante, L<\/em> repr\u00e9sente la vraisemblance maximale sous l’hypoth\u00e8se de normalit\u00e9 des r\u00e9sidus gaussiens, tandis que k<\/em> quantifie la dimensionnalit\u00e9 totale du vecteur de param\u00e8tres, incluant l’ensemble des coefficients de r\u00e9gression et la variance r\u00e9siduelle du terme d’erreur. Cette formule incarne le compromis fondamental entre la qualit\u00e9 d’ajustement aux donn\u00e9es empiriques observ\u00e9es et la complexit\u00e9 structurelle du mod\u00e8le math\u00e9matique s\u00e9lectionn\u00e9.<\/p>\n

L’ancrage th\u00e9orique du crit\u00e8re AIC puise directement sa justification au sein de la th\u00e9orie math\u00e9matique de l’information d\u00e9velopp\u00e9e par Claude Shannon, plus particuli\u00e8rement \u00e0 travers le concept de la divergence de Kullback-Leibler. Cette divergence mesure formellement la quantit\u00e9 d’information relative perdue lorsqu’un mod\u00e8le statistique approch\u00e9 est substitu\u00e9 \u00e0 la v\u00e9ritable distribution g\u00e9n\u00e9ratrice inconnue de la r\u00e9alit\u00e9 physique. Akaike a d\u00e9montr\u00e9 de mani\u00e8re remarquable que le crit\u00e8re AIC fournit un estimateur asymptotiquement sans biais de l’esp\u00e9rance de cette divergence relative, permettant ainsi de comparer des mod\u00e8les non embo\u00eet\u00e9s sans exiger la formulation d’une hypoth\u00e8se nulle stricte.<\/p>\n

Dans le d\u00e9ploiement op\u00e9rationnel des algorithmes pas \u00e0 pas, la valeur absolue de l’AIC ne poss\u00e8de aucune signification isol\u00e9e ; seule importe l’amplitude relative des \u00e9carts, d\u00e9sign\u00e9e sous le terme de delta AIC. Un \u00e9cart inf\u00e9rieur \u00e0 2 unit\u00e9s entre deux mod\u00e8les indique une \u00e9quivalence statistique empirique substantielle, sugg\u00e9rant que le chercheur ne dispose pas de preuves tangibles pour trancher en faveur de l’un ou de l’autre. Lorsque le delta AIC oscille entre 4 et 7, l’\u00e9vidence empirique soutenant le mod\u00e8le d\u00e9grad\u00e9 faiblit consid\u00e9rablement, pour devenir n\u00e9gligeable au-del\u00e0 d’un diff\u00e9rentiel exc\u00e9dant 10 unit\u00e9s par rapport \u00e0 la structure minimale dominante.<\/p>\n

3.2 Le crit\u00e8re d’information bay\u00e9sien (BIC) et variantes<\/h3>\n

Le crit\u00e8re d’information bay\u00e9sien (BIC), propos\u00e9 par Gideon Schwarz en 1978 et parfois d\u00e9nomm\u00e9 crit\u00e8re de Schwarz, pr\u00e9sente une architecture math\u00e9matique superficiellement analogue \u00e0 celle de l’AIC, mais d\u00e9rive d’un cadre \u00e9pist\u00e9mologique radicalement diff\u00e9rent. Sa formulation canonique s’\u00e9nonce selon la relation :<\/p>\n

BIC = -2 ln(L) + k ln(n)<\/p>\n

Ici, la p\u00e9nalit\u00e9 param\u00e9trique n’est plus fix\u00e9e \u00e0 une constante invariable, mais d\u00e9pend explicitement du logarithme n\u00e9p\u00e9rien de la taille de l’\u00e9chantillon d’observations, not\u00e9e n<\/em>. D\u00e8s lors que l’effectif n<\/em> est sup\u00e9rieur ou \u00e9gal \u00e0 8 (condition syst\u00e9matiquement v\u00e9rifi\u00e9e en pratique puisque ln(8) est sup\u00e9rieur \u00e0 2), le coefficient de p\u00e9nalit\u00e9 impos\u00e9 \u00e0 chaque param\u00e8tre additionnel par le BIC surpasse significativement celui de l’AIC, conf\u00e9rant \u00e0 ce crit\u00e8re une s\u00e9v\u00e9rit\u00e9 accrue envers la surparam\u00e9trisation.<\/p>\n

Cette divergence fonctionnelle s’explique par les propri\u00e9t\u00e9s asymptotiques distinctes qui gouvernent les deux crit\u00e8res. Le BIC est dit statistiquement coh\u00e9rent : si la v\u00e9ritable distribution g\u00e9n\u00e9ratrice des donn\u00e9es est formellement comprise au sein de l’espace des mod\u00e8les examin\u00e9s, la probabilit\u00e9 que le BIC s\u00e9lectionne le mod\u00e8le exact tend vers un lorsque la taille de l’\u00e9chantillon converge vers l’infini. En revanche, l’AIC tend asymptotiquement vers un taux de surs\u00e9lection mod\u00e9r\u00e9 mais non nul, incorporant des r\u00e9gresseurs parasites marginaux dont l’impact sur la vraisemblance suffit \u00e0 compenser la p\u00e9nalit\u00e9 statique de 2 unit\u00e9s.<\/p>\n

Pour parer aux d\u00e9faillances de l’AIC face aux configurations d’\u00e9chantillons de dimension restreinte, o\u00f9 le ratio entre le nombre d’observations et le nombre de r\u00e9gresseurs libres est faible (g\u00e9n\u00e9ralement n\/k < 40), Hurvich et Tsai ont formul\u00e9 le crit\u00e8re d’information d’Akaike corrig\u00e9 (AICc). Cette variante introduit un facteur de p\u00e9nalit\u00e9 non lin\u00e9aire d’ordre sup\u00e9rieur :<\/p>\n

AICc = AIC + [2k(k + 1)] \/ [n – k – 1]<\/p>\n

Lorsque l’effectif n<\/em> cro\u00eet vers l’infini, le terme correctif s’annule asymptotiquement pour converger vers l’AIC conventionnel, mais il gonfle drastiquement la p\u00e9nalit\u00e9 en petit \u00e9chantillon, neutralisant de fait le biais d’optimisme qui pousse les algorithmes pas \u00e0 pas \u00e0 surdimensionner syst\u00e9matiquement les mod\u00e8les lin\u00e9aires.<\/p>\n

3.3 M\u00e9triques fond\u00e9es sur les r\u00e9sidus et tests d’hypoth\u00e8ses<\/h3>\n

Parall\u00e8lement aux crit\u00e8res issus de la th\u00e9orie de l’information, la litt\u00e9rature statistique classique s’est abondamment appuy\u00e9e sur des m\u00e9triques r\u00e9siduelles d\u00e9terministes pour piloter l’inclusion ou l’exclusion de variables. Le coefficient de d\u00e9termination ajust\u00e9 (R\u00b2 ajust\u00e9) en constitue l’arch\u00e9type : en pond\u00e9rant la somme des carr\u00e9s des r\u00e9sidus et la somme totale des carr\u00e9s par leurs degr\u00e9s de libert\u00e9 respectifs, cette m\u00e9trique neutralise l’accroissement m\u00e9canique du R\u00b2 classique. N\u00e9anmoins, maximiser le R\u00b2 ajust\u00e9 \u00e9quivaut math\u00e9matiquement \u00e0 ne tol\u00e9rer que l’adjonction de variables dont la statistique F partielle surpasse l’unit\u00e9, ce qui demeure un seuil de filtrage remarquablement lib\u00e9ral, prompt \u00e0 capturer du bruit r\u00e9siduel.<\/p>\n

Une modalit\u00e9 alternative courante repose sur l’\u00e9valuation successive des tests d’hypoth\u00e8ses embo\u00eet\u00e9s via la statistique F de Fisher partielle, assujettie \u00e0 des seuils de significativit\u00e9 d’entr\u00e9e (p-to-enter) et de sortie (p-to-remove). Le test F partiel mesure le gain marginal de somme des carr\u00e9s imputable \u00e0 l’int\u00e9gration d’un terme conditionnellement aux variables d\u00e9j\u00e0 enregistr\u00e9es, rapport\u00e9 \u00e0 l’estimateur de la variance d’erreur. Les praticiens fixent usuellement des seuils de probabilit\u00e9 critique, par exemple alpha = 0,05 ou 0,10, pour guider l’arr\u00eat du processus de tri automatique.<\/p>\n

Toutefois, cette m\u00e9thodologie pr\u00e9sente des fragilit\u00e9s structurelles substantielles sur le plan de la th\u00e9orie des probabilit\u00e9s. Les distributions th\u00e9oriques de Student et de Fisher ne s’appliquent rigoureusement qu’\u00e0 la condition expresse que les mod\u00e8les compar\u00e9s aient \u00e9t\u00e9 postul\u00e9s a priori<\/em>, sans r\u00e9f\u00e9rence aux donn\u00e9es courantes. Or, dans la dynamique de la r\u00e9gression pas \u00e0 pas, la variable s\u00e9lectionn\u00e9e est pr\u00e9cis\u00e9ment celle qui pr\u00e9sente le rapport de variance le plus extr\u00eame au sein de l’\u00e9chantillon pr\u00e9sent. Cette s\u00e9lection orient\u00e9e vicie les hypoth\u00e8ses de nullit\u00e9, g\u00e9n\u00e9rant des valeurs p d’entr\u00e9e et de sortie largement sous-\u00e9valu\u00e9es qui cr\u00e9ent l’illusion d’une significativit\u00e9 scientifique l\u00e0 o\u00f9 ne s’exprime qu’une fluctuation stochastique locale.<\/p>\n

4. Impl\u00e9mentation de la s\u00e9lection ascendante (Forward Selection) dans R<\/h2>\n

4.1 Sp\u00e9cification math\u00e9matique du mod\u00e8le nul et du mod\u00e8le complet<\/h3>\n

L’impl\u00e9mentation op\u00e9rationnelle de la s\u00e9lection ascendante dans l’environnement R requiert la d\u00e9limitation formelle de l’espace de recherche au moyen de deux mod\u00e8les lin\u00e9aires directeurs servant de bornes inf\u00e9rieure et sup\u00e9rieure. La borne inf\u00e9rieure s’incarne dans le mod\u00e8le nul, sp\u00e9cifi\u00e9 syntaxiquement via la formule reliant la variable endog\u00e8ne \u00e0 la constante unitaire d’interception, privant le syst\u00e8me de tout apport explicatif dynamique :<\/p>\n

mpg ~ 1<\/p>\n

Ce point de d\u00e9part impose que la pr\u00e9diction initiale de chaque observation se confonde invariablement avec la moyenne globale empirique de l’\u00e9chantillon d’entra\u00eenement.<\/p>\n

\u00c0 l’autre extr\u00e9mit\u00e9 du continuum computationnel se dresse le mod\u00e8le complet, ou mod\u00e8le satur\u00e9 de l’espace des covariables disponibles, d\u00e9sign\u00e9 par la formulation syntaxique R standard reliant la variable r\u00e9ponse \u00e0 l’int\u00e9gralit\u00e9 des colonnes de la matrice de donn\u00e9es :<\/p>\n

mpg ~ .<\/p>\n

Ce mod\u00e8le sup\u00e9rieur englobe l’ensemble des dix pr\u00e9dicteurs du jeu de donn\u00e9es sous une forme additive simple. Il d\u00e9finit l’enveloppe dimensionnelle maximale que l’algorithme sera autoris\u00e9 \u00e0 explorer au gr\u00e9 de ses int\u00e9grations s\u00e9quentielles.<\/p>\n

Avant d’engager le moteur de calcul, une v\u00e9rification m\u00e9ticuleuse de la compatibilit\u00e9 dimensionnelle et de la compl\u00e9tude matricielle s’impose imp\u00e9rativement. R exige que les deux mod\u00e8les directeurs soient ajust\u00e9s sur des vecteurs d’observations rigoureusement identiques. Toute pr\u00e9sence de valeurs manquantes (NA) dans une seule des covariables m\u00e8nerait \u00e0 une r\u00e9duction automatique du nombre de lignes retenues pour le mod\u00e8le complet, rendant la comparaison de vraisemblance math\u00e9matiquement invalide face \u00e0 un mod\u00e8le nul ajust\u00e9 sur une assiette dimensionnelle plus large. Dans le cadre de la matrice mtcars<\/em>, l’absence de valeurs manquantes garantit la conformit\u00e9 dimensionnelle absolue sur les 32 observations.<\/p>\n

4.2 Ex\u00e9cution s\u00e9quentielle avec la fonction step()<\/h3>\n

Le moteur natif de R fournit l’instruction step()<\/strong>, une fonction d’une grande sophistication con\u00e7ue pour piloter la minimisation de l’AIC. Pour configurer une s\u00e9lection purement ascendante, l’analyste instancie le mod\u00e8le nul comme point d’amorce algorithmique, tout en pr\u00e9cisant dans l’argument de port\u00e9e (scope<\/em>) la liste structurelle d\u00e9finissant la limite inf\u00e9rieure (le mod\u00e8le constant) et la limite sup\u00e9rieure (le mod\u00e8le exhaustif). L’argument de direction doit \u00eatre explicitement calibr\u00e9 sur la valeur textuelle \u00ab\u00a0forward\u00a0\u00bb, ordonnant \u00e0 l’algorithme de restreindre son action \u00e0 des op\u00e9rations d’adjonction unilat\u00e9rales.<\/p>\n

L’ex\u00e9cution de la commande g\u00e9n\u00e8re un journal d\u00e9taill\u00e9 des it\u00e9rations qui retrace l’int\u00e9gralit\u00e9 des micro-d\u00e9cisions prises par le syst\u00e8me. \u00c0 la premi\u00e8re \u00e9tape, le mod\u00e8le nul affiche une d\u00e9viance totale de 1126,05 pour une valeur d’AIC initiale de 115,94. L’algorithme \u00e9value alors individuellement l’impact de l’adjonction de chacun des dix pr\u00e9dicteurs. R pr\u00e9sente une table ordonn\u00e9e o\u00f9 la variable induisant le plus fort recul de l’AIC se hisse en t\u00eate de liste : il s’agit du poids du v\u00e9hicule (wt<\/em>), dont l’inclusion fait chuter l’AIC \u00e0 73,21, surclassant ses rivales imm\u00e9diates que sont la cylindr\u00e9e (AIC = 76,06) et le nombre de cylindres (AIC = 75,38).<\/p>\n

L’algorithme valide l’int\u00e9gration de wt<\/em> et bascule dans sa seconde it\u00e9ration, recherchant d\u00e9sormais le second terme optimal conditionnellement \u00e0 la pr\u00e9sence acquise du poids. \u00c0 ce stade, c’est l’acc\u00e9l\u00e9ration (qsec<\/em>) qui procure le gain d’information le plus marqu\u00e9, r\u00e9duisant l’AIC global \u00e0 61,31. La troisi\u00e8me it\u00e9ration consacre l’int\u00e9gration de la transmission (am<\/em>), qui abaisse l’AIC \u00e0 60,67. Lors de la quatri\u00e8me it\u00e9ration, R constate qu’aucun des pr\u00e9dicteurs restants (hp<\/em>, disp<\/em>, drat<\/em>, etc.) ne permet d’obtenir un AIC strictement inf\u00e9rieur \u00e0 60,67. L’algorithme d\u00e9cr\u00e8te alors sa propre terminaison et retourne le mod\u00e8le trimodal combinant wt<\/em>, qsec<\/em> et am<\/em>.<\/p>\n

4.3 Analyse critique des r\u00e9sultats de la proc\u00e9dure ascendante<\/h3>\n

L’examen approfondi du mod\u00e8le final g\u00e9n\u00e9r\u00e9 par la proc\u00e9dure ascendante met en relief la dynamique propre \u00e0 cette trajectoire unilat\u00e9rale. L’extraction des coefficients de r\u00e9gression r\u00e9v\u00e8le que la consommation mpg<\/em> s’explique par un coefficient n\u00e9gatif massif associ\u00e9 au poids (-3,916), un coefficient positif reli\u00e9 au temps du quart de mille (+1,226) et une contribution favorable pour la transmission manuelle (+2,936), le tout soutenu par un terme constant d’interception fix\u00e9 \u00e0 9,618. Les erreurs-types associ\u00e9es demeurent relativement restreintes, conf\u00e9rant \u00e0 chaque terme une significativit\u00e9 marginale au seuil alpha de 0,05.<\/p>\n

La d\u00e9composition it\u00e9rative de la variance montre une saturation rapide de l’espace pr\u00e9dictif. L’int\u00e9gration de la seule variable wt<\/em> lors de la phase inaugurale capture \u00e0 elle seule pr\u00e8s de 75,3 % de la variance totale de la consommation. L’adjonction cons\u00e9cutive de qsec<\/em> n’accro\u00eet le coefficient de d\u00e9termination que de 7,3 points de pourcentage suppl\u00e9mentaires, tandis que l’incorporation de am<\/em> n’apporte qu’un gain marginal final de 2,4 points, portant le R\u00b2 final \u00e0 84,97 % (R\u00b2 ajust\u00e9 \u00e0 83,36 %). Cette d\u00e9croissance rapide du rendement explicatif marginal est typique des r\u00e9gressions appliqu\u00e9es \u00e0 des donn\u00e9es physiques fortement intercorr\u00e9l\u00e9es.<\/p>\n

Cependant, cette apparente efficacit\u00e9 math\u00e9matique masque un \u00e9cueil structurel inh\u00e9rent \u00e0 la logique unilat\u00e9rale : la vuln\u00e9rabilit\u00e9 au verrouillage pr\u00e9coce sur des optima locaux. Parce qu’elle n’\u00e9value les variables qu’individuellement \u00e0 partir du mod\u00e8le nul, la s\u00e9lection ascendante se trouve aveugle aux interactions complexes ou aux synergies multivari\u00e9es. Si deux pr\u00e9dicteurs ne poss\u00e8dent qu’un pouvoir pr\u00e9dictif modeste lorsqu’ils sont isol\u00e9s, mais r\u00e9v\u00e8lent une puissance explicative d\u00e9cupl\u00e9e lorsqu’ils agissent conjointement, l’algorithme ascendant refusera d’int\u00e9grer le premier et ignorera syst\u00e9matiquement la paire, se privant d’architectures causales plus riches.<\/p>\n

5. Impl\u00e9mentation de la s\u00e9lection descendante (Backward Elimination) dans R<\/h2>\n

5.1 Initialisation du mod\u00e8le satur\u00e9 de d\u00e9part<\/h3>\n

L’\u00e9limination descendante aborde le probl\u00e8me de s\u00e9lection sous un angle conceptuel inverse en d\u00e9butant son parcours computationnel \u00e0 partir du mod\u00e8le le plus vaste possible, c’est-\u00e0-dire le mod\u00e8le satur\u00e9 englobant les dix pr\u00e9dicteurs sans restriction. L’estimation inaugurale de ce mod\u00e8le lin\u00e9aire complet sous R fournit une perspective globale sur le comportement simultan\u00e9 de l’ensemble des forces pr\u00e9dictives. D\u00e8s cet ajustement initial, l’observateur averti rel\u00e8ve les sympt\u00f4mes caract\u00e9ristiques d’une matrice hautement colin\u00e9aire.<\/p>\n

Bien que le mod\u00e8le complet affiche un coefficient de d\u00e9termination global remarquable (R\u00b2 = 86,90 %), l’inspection de la table des coefficients r\u00e9v\u00e8le une anomalie frappante : la majorit\u00e9 \u00e9crasante des pr\u00e9dicteurs affiche des valeurs p associ\u00e9es au test de Student sup\u00e9rieures \u00e0 0,10, voire \u00e0 0,50. Seul le terme de poids (wt<\/em>) parvient \u00e0 maintenir une significativit\u00e9 marginale fragile au seuil de 5 %. Ce ph\u00e9nom\u00e8ne de dilution statistique d\u00e9coule directement de la redondance matricielle : les erreurs-types des estimateurs des moindres carr\u00e9s ordinaires sont artificiellement gonfl\u00e9es par les colin\u00e9arit\u00e9s mutuelles, masquant les effets r\u00e9els sous un bruit d’estimation consid\u00e9rable.<\/p>\n

Sur le plan computationnel, l’analyste doit s’assurer que le syst\u00e8me dispose d’un nombre suffisant de degr\u00e9s de libert\u00e9 r\u00e9siduels pour permettre l’inversion de la matrice d’information de Fisher. Avec 32 observations et 11 param\u00e8tres \u00e0 estimer (10 pentes et 1 constante), le mod\u00e8le complet conserve 21 degr\u00e9s de libert\u00e9 r\u00e9siduels, \u00e9cartant tout risque d’ind\u00e9termination math\u00e9matique absolue. N\u00e9anmoins, le ratio d’\u00e9chantillonnage de 3 observations par r\u00e9gresseur place l’estimation initiale dans une zone de grande instabilit\u00e9 param\u00e9trique, rendant la simplification structurelle imp\u00e9rative.<\/p>\n

5.2 D\u00e9roulement de l’\u00e9limination it\u00e9rative sous R<\/h3>\n

L’initialisation de l’\u00e9limination descendante sous R s’op\u00e8re en fournissant directement le mod\u00e8le lin\u00e9aire complet \u00e0 la fonction step()<\/strong>, en calibrant rigoureusement le param\u00e8tre d’orientation par la mention \u00ab\u00a0backward\u00a0\u00bb. Dans cette configuration, l’algorithme n’a pas besoin de la sp\u00e9cification d’un intervalle sup\u00e9rieur dans l’argument scope<\/em>, car il interpr\u00e8te la structure satur\u00e9e d’origine comme le plafond d’exploration ind\u00e9passable, cherchant exclusivement \u00e0 soustraire des termes un \u00e0 un.<\/p>\n

Le trac\u00e9 s\u00e9quentiel de l’ex\u00e9cution illustre la logique soustractive de minimisation de l’AIC. \u00c0 l’amorce, le mod\u00e8le complet affiche un AIC de r\u00e9f\u00e9rence \u00e9gal \u00e0 70,90. L’algorithme dresse la table des retraits possibles en calculant pour chaque terme la valeur hypoth\u00e9tique de l’AIC qui r\u00e9sulterait de son \u00e9viction imm\u00e9diate. Le premier r\u00e9gresseur d\u00e9sign\u00e9 pour l’\u00e9limination est le nombre de cylindres (cyl<\/em>), dont l’ablation fait reculer l’AIC \u00e0 68,91. Bien que cyl<\/em> soit intuitivement un pr\u00e9dicteur fondamental du rendement \u00e9nerg\u00e9tique, son information est d\u00e9j\u00e0 sur-repr\u00e9sent\u00e9e par la cylindr\u00e9e et le poids, rendant sa pr\u00e9sence sp\u00e9cifique pr\u00e9judiciable \u00e0 la parcimonie.<\/p>\n

Dans les it\u00e9rations suivantes, le processus se poursuit de fa\u00e7on implacable : l’algorithme expulse successivement le nombre de carburateurs (carb<\/em>), faisant descendre l’AIC \u00e0 67,05, puis le rapport de pont arri\u00e8re (drat<\/em>) qui ram\u00e8ne l’indicateur \u00e0 65,63. \u00c0 l’\u00e9tape cons\u00e9cutive, la cylindr\u00e9e (disp<\/em>) est \u00e9cart\u00e9e au profit d’un AIC de 64,07, suivie par le type de moteur (vs<\/em>) qui stabilise l’AIC \u00e0 62,66. Enfin, la bo\u00eete de vitesses (gear<\/em>) est \u00e9limin\u00e9e, l’AIC atteignant 61,31. Lors du palier suivant, la suppression du temps au quart de mille (qsec<\/em>) entra\u00eenerait une remont\u00e9e de l’AIC \u00e0 65,21, tandis que l’\u00e9viction de wt<\/em> le propulserait \u00e0 74,05. L’algorithme stoppe son \u00e9lagage et arr\u00eate le mod\u00e8le terminal sur quatre covariables : wt<\/em>, qsec<\/em>, am<\/em> et hp<\/em>, avec un AIC de 61,65.<\/p>\n

5.3 Comparaison entre mod\u00e8le initial complet et mod\u00e8le r\u00e9duit<\/h3>\n

La confrontation rigoureuse entre le mod\u00e8le initial satur\u00e9 et la structure simplifi\u00e9e issue de l’\u00e9lagage descendant illustre les vertus de la r\u00e9duction dimensionnelle. Pour valider formellement la l\u00e9gitimit\u00e9 statistique de cette simplification, il convient de recourir au test du rapport de vraisemblance, mat\u00e9rialis\u00e9 sous R par l’instruction d’analyse de variance appliqu\u00e9e \u00e0 deux mod\u00e8les embo\u00eet\u00e9s (anova(modele_reduit, modele_complet)<\/strong>). Ce test confronte l’hypoth\u00e8se nulle selon laquelle les six coefficients \u00e9limin\u00e9s (cyl<\/em>, carb<\/em>, drat<\/em>, disp<\/em>, vs<\/em>, gear<\/em>) sont conjointement \u00e9gaux \u00e0 z\u00e9ro.<\/p>\n

Le r\u00e9sultat de cette analyse d’\u00e9cartement d\u00e9montre l’absence totale de d\u00e9gradation significative du pouvoir d’ajustement global : la valeur p associ\u00e9e \u00e0 la statistique de Fisher globale de comparaison atteint 0,86. Ce r\u00e9sultat conforte la d\u00e9cision d’ablation, indiquant que la perte de somme des carr\u00e9s expliqu\u00e9e est statistiquement indiff\u00e9renciable de ce que produirait une simple variation d’\u00e9chantillonnage al\u00e9atoire. En \u00e9liminant six degr\u00e9s de libert\u00e9 superflus, le mod\u00e8le r\u00e9duit gagne consid\u00e9rablement en puissance de test sur les r\u00e9gresseurs conserv\u00e9s.<\/p>\n

L’\u00e9valuation comparative de l’erreur quadratique moyenne d’estimation (MSE) confirme ce gain structurel. Dans le mod\u00e8le complet, la dispersion de la variance r\u00e9siduelle s’\u00e9tablissait \u00e0 une valeur de sigma empirique de 2,65 miles par gallon pour 21 degr\u00e9s de libert\u00e9. Dans le mod\u00e8le r\u00e9duit \u00e0 quatre pr\u00e9dicteurs, l’erreur-type r\u00e9siduelle s’abaisse \u00e0 2,45 pour 27 degr\u00e9s de libert\u00e9. Cet all\u00e8gement a permis de purger le mod\u00e8le d’une grande fraction de son instabilit\u00e9 d’estimation, restaurant la significativit\u00e9 statistique de pr\u00e9dicteurs comme la puissance motrice (hp<\/em>) qui se trouvaient auparavant totalement occult\u00e9s par la colin\u00e9arit\u00e9 omnipr\u00e9sente.<\/p>\n

6. La s\u00e9lection pas \u00e0 pas bidirectionnelle (Both-Direction Selection)<\/h2>\n

6.1 M\u00e9canique op\u00e9rationnelle du couplage entr\u00e9e-sortie<\/h3>\n

La s\u00e9lection pas \u00e0 pas bidirectionnelle transcende la rigidit\u00e9 unidirectionnelle des approches pr\u00e9c\u00e9dentes en instaurant un m\u00e9canisme permanent de r\u00e9\u00e9valuation r\u00e9trospective. Dans les protocoles purement ascendants ou descendants, toute d\u00e9cision d’inclusion ou de radiation poss\u00e8de un caract\u00e8re d\u00e9finitif et irr\u00e9versible, ce qui expose l’analyse \u00e0 des erreurs de trajectoire irr\u00e9parables. La m\u00e9thode bidirectionnelle neutralise cette contingence en soumettant \u00e0 chaque cycle algorithmique l’int\u00e9gralit\u00e9 du r\u00e9servoir de covariables aux deux op\u00e9rations alternatives : l’adjonction d’un nouveau pr\u00e9dicteur ou la r\u00e9trocession d’un terme ant\u00e9rieurement accept\u00e9.<\/p>\n

Cette plasticit\u00e9 combinatoire r\u00e9pond directement au ph\u00e9nom\u00e8ne d’interaction et de masquage multivari\u00e9. Supposons qu’une variable X1 soit s\u00e9lectionn\u00e9e \u00e0 l’\u00e9tape initiale en raison d’une forte corr\u00e9lation brute avec la variable cible Y. Si, aux \u00e9tapes 3 et 4, les variables X2 et X3 sont \u00e0 leur tour int\u00e9gr\u00e9es et que leur combinaison lin\u00e9aire capture avec une pr\u00e9cision accrue l’information initialement v\u00e9hicul\u00e9e par X1, celle-ci devient fonctionnellement superflue au sens de la log-vraisemblance r\u00e9siduelle. Dans un cadre bidirectionnel, l’algorithme d\u00e9tecte que le retrait de X1 g\u00e9n\u00e8re une diminution imm\u00e9diate de la p\u00e9nalit\u00e9 globale d’AIC, et proc\u00e8de \u00e0 son extraction formelle.<\/p>\n

Le couplage des flux d’entr\u00e9e et de sortie conf\u00e8re ainsi \u00e0 la m\u00e9thode pas \u00e0 pas une capacit\u00e9 d’auto-correction permanente. Il \u00e9limine le risque d’incorporer des variables substitutives qui ne figuraient dans le mod\u00e8le que parce qu’un pr\u00e9dicteur causal plus puissant n’avait pas encore \u00e9t\u00e9 introduit dans les premiers cycles de l’algorithme. Cette dynamique bidirectionnelle constitue aujourd’hui la configuration la plus couramment sollicit\u00e9e lors de l’usage des crit\u00e8res d’information sous R.<\/p>\n

6.2 Ex\u00e9cution de la m\u00e9thode bidirectionnelle avec step()<\/h3>\n

Pour engager une s\u00e9lection bidirectionnelle dans le logiciel R, la syntaxe de base s’appuie \u00e0 nouveau sur la fonction polyvalente step()<\/strong>, en attribuant cette fois la valeur textuelle \u00ab\u00a0both\u00a0\u00bb au param\u00e8tre d’orientation. Fait remarquable, l’analyste poss\u00e8de la libert\u00e9 totale d’initialiser la proc\u00e9dure soit \u00e0 partir du mod\u00e8le nul le plus d\u00e9pouill\u00e9, soit \u00e0 partir de la structure satur\u00e9e compl\u00e8te, en veillant toutefois \u00e0 calibrer scrupuleusement le p\u00e9rim\u00e8tre d’action au sein du param\u00e8tre scope<\/em>.<\/p>\n

Consid\u00e9rons l’initialisation bidirectionnelle amorc\u00e9e \u00e0 partir du mod\u00e8le nul. \u00c0 la premi\u00e8re it\u00e9ration, l’algorithme n’a d’autre possibilit\u00e9 que d’int\u00e9grer un premier terme ; il retient le poids (wt<\/em>), diminuant l’AIC \u00e0 73,21. \u00c0 la seconde it\u00e9ration, il \u00e9value \u00e0 la fois l’impact du retrait de wt<\/em> (qui r\u00e9augmenterait l’AIC \u00e0 115,94) et l’adjonction des 9 covariables restantes. Constatant que l’int\u00e9gration de qsec<\/em> fait chuter l’AIC \u00e0 61,31, il valide cette entr\u00e9e. \u00c0 la troisi\u00e8me it\u00e9ration, le syst\u00e8me passe en revue la possibilit\u00e9 d’exclure wt<\/em> ou qsec<\/em>, tout en \u00e9valuant l’apport de chacune des 8 variables r\u00e9siduelles.<\/p>\n

C’est ici qu’intervient l’apport de am<\/em>, qui conduit l’AIC \u00e0 60,67. \u00c0 la quatri\u00e8me it\u00e9ration, l’algorithme teste m\u00e9thodiquement les op\u00e9rations d’exclusion sur l’ensemble du triplet pr\u00e9sent : le retrait de am<\/em> d\u00e9graderait l’AIC \u00e0 61,31, l’extraction de qsec<\/em> le propulserait \u00e0 73,21, et celle de wt<\/em> \u00e0 79,20. Simultan\u00e9ment, il \u00e9value les ajouts restants : l’introduction de hp<\/em> conduirait \u00e0 un AIC de 61,65, ce qui repr\u00e9senterait une augmentation ind\u00e9sirable par rapport au niveau actuel de 60,67. Aucune modification soustractive ou additive ne permettant d’obtenir un AIC inf\u00e9rieur \u00e0 60,67, l’algorithme bidirectionnel stoppe imm\u00e9diatement sa progression.<\/p>\n

6.3 Convergence et stabilit\u00e9 structurelle de la solution<\/h3>\n

La convergence d’une proc\u00e9dure bidirectionnelle soul\u00e8ve des questions math\u00e9matiques quant au risque th\u00e9orique de bouclage infini, situation pathologique o\u00f9 un r\u00e9gresseur serait alternativement inclus puis exclu ind\u00e9finiment lors d’it\u00e9rations successives. Dans le cadre de l’impl\u00e9mentation de la fonction step()<\/strong> r\u00e9gie par l’AIC, ce risque est math\u00e9matiquement verrouill\u00e9 par le fait que l’algorithme n’ex\u00e9cute une transition que si et seulement si l’indice d’information global pr\u00e9sente une d\u00e9croissance stricte. La suite des valeurs d’AIC formant une s\u00e9rie strictement monotone d\u00e9croissante au sein d’un espace combinatoire fini, la convergence vers un minimum local est math\u00e9matiquement garantie.<\/p>\n

N\u00e9anmoins, la question de la sensibilit\u00e9 de la solution terminale au point d’ancrage initial r\u00e9v\u00e8le toute la complexit\u00e9 des paysages d’optimisation discrets. Si l’on ex\u00e9cute la s\u00e9lection bidirectionnelle en prenant pour point de d\u00e9part le mod\u00e8le complet plut\u00f4t que le mod\u00e8le nul, l’histoire algorithmique diverge substantiellement. En amor\u00e7ant l’algorithme par le haut, la trajectoire descendante \u00e9limine progressivement cyl<\/em>, carb<\/em>, drat<\/em>, disp<\/em>, vs<\/em> et gear<\/em>, mais choisit de conserver hp<\/em>, aboutissant au mod\u00e8le quadratique associant wt<\/em>, qsec<\/em>, am<\/em> et hp<\/em> avec un AIC de 61,65.<\/p>\n

Cette asym\u00e9trie entre le r\u00e9sultat issu de l’initialisation ascendante (mod\u00e8le \u00e0 trois pr\u00e9dicteurs, AIC = 60,67) et celui d\u00e9coulant de l’initialisation descendante (mod\u00e8le \u00e0 quatre pr\u00e9dicteurs, AIC = 61,65) constitue une d\u00e9monstration \u00e9clatante de la non-convexit\u00e9 de l’espace de recherche. La r\u00e9gression stepwise bidirectionnelle ne garantit nullement la convergence vers un optimum global unique. Elle demeure une m\u00e9thode heuristique locale, tributaire de son \u00e9tat initial et des trajectoires d’exploration emprunt\u00e9es \u00e0 travers les gradients de vraisemblance.<\/p>\n

7. Utilisation d’outils avanc\u00e9s : le package MASS et stepAIC<\/h2>\n

7.1 Avantages techniques de la fonction stepAIC() de MASS<\/h3>\n

Bien que la fonction primitive step()<\/strong> int\u00e9gr\u00e9e au syst\u00e8me R standard suffise \u00e0 des exp\u00e9rimentations \u00e9l\u00e9mentaires, la communaut\u00e9 des statisticiens universitaires privil\u00e9gie largement l’emploi de la fonction stepAIC()<\/strong>, impl\u00e9ment\u00e9e au sein de la biblioth\u00e8que fondatrice MASS<\/a> con\u00e7ue par Venables et Ripley. Si la logique algorithmique de base reste similaire, cette fonction offre une r\u00e9silience num\u00e9rique sup\u00e9rieure et une souplesse de param\u00e9trage indispensable aux analyses scientifiques professionnelles.<\/p>\n

L’un des atouts d\u00e9terminants de stepAIC()<\/strong> r\u00e9side dans la manipulation directe du coefficient de p\u00e9nalit\u00e9 param\u00e9trique, gouvern\u00e9 par le param\u00e8tre formel k<\/em>. Par d\u00e9faut, ce param\u00e8tre est fix\u00e9 \u00e0 la valeur scalaire 2, reproduisant le crit\u00e8re d’Akaike conventionnel. Toutefois, cette flexibilit\u00e9 autorise l’utilisateur \u00e0 red\u00e9finir instantan\u00e9ment la fonction de perte en injectant des p\u00e9nalit\u00e9s personnalis\u00e9es, transformant par exemple l’analyse en une s\u00e9lection bas\u00e9e sur le crit\u00e8re bay\u00e9sien ou sur des crit\u00e8res d’information g\u00e9n\u00e9ralis\u00e9s adapt\u00e9s \u00e0 des contraintes sp\u00e9cifiques de surdispersion.<\/p>\n

Par ailleurs, stepAIC()<\/strong> se distingue par sa parfaite compatibilit\u00e9 avec une grande vari\u00e9t\u00e9 de structures de mod\u00e9lisation math\u00e9matique. Elle s’applique de mani\u00e8re transparente non seulement aux mod\u00e8les lin\u00e9aires classiques ajust\u00e9s par moindres carr\u00e9s, mais s’\u00e9tend \u00e0 l’ensemble de la famille des mod\u00e8les lin\u00e9aires g\u00e9n\u00e9ralis\u00e9s (GLM), englobant la r\u00e9gression logistique binomiale, la r\u00e9gression de Poisson pour donn\u00e9es de d\u00e9nombrement ou les mod\u00e9lisations gamma. L’outil capture l’int\u00e9gralit\u00e9 du journal de bord computationnel au sein de listes d’attributs hi\u00e9rarchiques, facilitant l’extraction programm\u00e9e des s\u00e9quences de s\u00e9lection pour la r\u00e9daction de rapports reproductibles.<\/p>\n

7.2 Application concr\u00e8te du crit\u00e8re BIC avec MASS::stepAIC<\/h3>\n

L’exploitation conjointe de la biblioth\u00e8que MASS et de la personnalisation du param\u00e8tre de p\u00e9nalit\u00e9 k<\/em> permet d’op\u00e9rationnaliser facilement la s\u00e9lection guid\u00e9e par le crit\u00e8re d’information bay\u00e9sien (BIC). Comme \u00e9tabli dans les fondements th\u00e9oriques, la transition de l’AIC vers le BIC s’op\u00e8re en substituant la constante 2 par le logarithme naturel de la dimension d’\u00e9chantillonnage de la matrice de r\u00e9gression. Dans le cadre de l’\u00e9chantillon mtcars<\/em>, cette configuration s’ex\u00e9cute en assignant au param\u00e8tre de p\u00e9nalisation la valeur dynamique :<\/p>\n

k = log(nrow(mtcars))<\/p>\n

Cette commande impose une charge punitive de ln(32) \u2248 3,466 unit\u00e9s pour chaque param\u00e8tre additionnel introduit dans le pr\u00e9dicteur lin\u00e9aire.<\/p>\n

L’amorce de cette s\u00e9lection p\u00e9nalis\u00e9e par le BIC \u00e0 partir du mod\u00e8le complet r\u00e9v\u00e8le l’efficacit\u00e9 de son action \u00e9puratrice. Confront\u00e9 \u00e0 une p\u00e9nalit\u00e9 accrue de pr\u00e8s de 73 % par rapport \u00e0 l’AIC classique, l’algorithme proc\u00e8de \u00e0 des soustractions d’une bien plus grande vigueur. Apr\u00e8s avoir \u00e9limin\u00e9 successivement les redondances massives que constituent les cylindres, les carburateurs, le rapport de pont, la cylindr\u00e9e et la g\u00e9om\u00e9trie des cylindres, la proc\u00e9dure d\u00e9cide de radier \u00e9galement la bo\u00eete de vitesses et le temps au quart de mille.<\/p>\n

Le mod\u00e8le terminal retenu sous l’\u00e9gide du crit\u00e8re BIC ne conserve finalement qu’un bin\u00f4me hautement synth\u00e9tique compos\u00e9 du poids du v\u00e9hicule (wt<\/em>) et du type de transmission (am<\/em>), stabilisant le BIC minimal \u00e0 une valeur de 65,17. Alors que l’AIC retenait des termes secondaires pour optimiser marginalement l’erreur pr\u00e9dictive, le BIC privil\u00e9gie sans \u00e9quivoque une structure minimale \u00e9pur\u00e9e, d\u00e9montrant dans les faits sa tendance conservatrice orient\u00e9e vers l’identification des seuls macro-effets indispensables.<\/p>\n

7.3 Gestion des termes d’interaction et des polyn\u00f4mes<\/h3>\n

L’un des d\u00e9fis les plus d\u00e9licats rencontr\u00e9s lors du d\u00e9ploiement de la r\u00e9gression pas \u00e0 pas r\u00e9side dans la gestion des non-lin\u00e9arit\u00e9s d’ordre sup\u00e9rieur, englobant les puissances polynomiales et les termes d’interaction multiplicative unissant deux covariables (par exemple, wt * hp<\/em>). L’injection de ces termes \u00e9tend de mani\u00e8re exponentielle la dimensionalit\u00e9 de l’espace combinatoire, soumettant l’algorithme \u00e0 des risques s\u00e9v\u00e8res de surapprentissage et d’explosion computationnelle.<\/p>\n

Dans ce contexte, le respect du principe hi\u00e9rarchique en mod\u00e9lisation lin\u00e9aire constitue une r\u00e8gle statistique cardinale. Selon ce principe fondamental, un mod\u00e8le ne saurait incorporer un terme d’interaction multiplicative d’ordre deux (X1:X2) sans conserver obligatoirement au sein de son architecture les effets principaux constitutifs (X1 et X2), m\u00eame si ces derniers ne s’av\u00e8rent pas individuellement significatifs. L’outil stepAIC()<\/strong> se distingue par sa capacit\u00e9 intrins\u00e8que \u00e0 respecter cette hi\u00e9rarchie fonctionnelle lors de ses op\u00e9rations d’exploration, refusant de scinder les structures factorielles composites tant que les termes d’ordre sup\u00e9rieur demeurent actifs dans l’\u00e9quation.<\/p>\n

Cependant, l’utilisateur doit faire preuve d’une prudence extr\u00eame lorsqu’il configure l’argument scope<\/em> pour inclure des interactions d’ordre sup\u00e9rieur dans des \u00e9chantillons restreints. Dans l’\u00e9chantillon mtcars<\/em>, l’incorporation de toutes les interactions bivari\u00e9es potentielles ferait bondir le r\u00e9servoir de pr\u00e9dicteurs de 10 \u00e0 55 param\u00e8tres, d\u00e9passant largement le nombre total de v\u00e9hicules observ\u00e9s (N = 32). Une telle configuration provoquerait l’effondrement imm\u00e9diat du rang matriciel et rendrait toute estimation par moindres carr\u00e9s math\u00e9matiquement impossible, rappelant l’obligation de mod\u00e9rer la complexit\u00e9 du domaine de recherche autoris\u00e9.<\/p>\n

8. Exploration approfondie avec le package olsrr<\/h2>\n

8.1 Vue d’ensemble de la suite m\u00e9thodologique olsrr<\/h3>\n

Pour les chercheurs et analystes qui privil\u00e9gient une approche structur\u00e9e reposant sur les tests d’hypoth\u00e8ses traditionnels et la d\u00e9composition d\u00e9taill\u00e9e des m\u00e9triques de r\u00e9gression, le package sp\u00e9cialis\u00e9 olsrr<\/a> offre une alternative p\u00e9dagogique remarquable aux fonctions g\u00e9n\u00e9riques de base de R. Con\u00e7u sp\u00e9cifiquement pour l’enseignement et l’\u00e9valuation fine des mod\u00e8les des moindres carr\u00e9s ordinaires, cet ensemble logiciel met \u00e0 disposition une batterie de fonctions pas \u00e0 pas standardis\u00e9es bas\u00e9es sur le contr\u00f4le strict des valeurs p.<\/p>\n

L’architecture d’olsrr s’articule autour de trois commandes unifi\u00e9es : ols_step_forward_p()<\/strong> pour l’investigation s\u00e9quentielle ascendante, ols_step_backward_p()<\/strong> pour la proc\u00e9dure d’\u00e9lagage descendante, et ols_step_both_p()<\/strong> pour l’arbitrage bidirectionnel simultan\u00e9. \u00c0 la diff\u00e9rence fondamentale des fonctions step()<\/em> ou stepAIC()<\/em> qui pilotent la trajectoire par minimisation scalaire d’un crit\u00e8re d’information sans consid\u00e9ration explicite des distributions d’\u00e9chantillonnage, la suite olsrr conditionne chaque int\u00e9gration ou \u00e9limination au d\u00e9passement de seuils d’erreur alpha programm\u00e9s par l’utilisateur.<\/p>\n

La configuration op\u00e9rationnelle requiert la d\u00e9finition m\u00e9ticuleuse de deux hyperparam\u00e8tres d\u00e9cisionnels : le seuil de probabilit\u00e9 d’entr\u00e9e, d\u00e9sign\u00e9 par le param\u00e8tre formel p_enter<\/em>, et le seuil de probabilit\u00e9 d’exclusion, not\u00e9 p_remove<\/em>. Pour pr\u00e9server la coh\u00e9rence math\u00e9matique de l’algorithme bidirectionnel et interdire les cycles infinis de va-et-vient, il est formellement exig\u00e9 que la probabilit\u00e9 d’entr\u00e9e soit strictement inf\u00e9rieure ou \u00e9gale \u00e0 la probabilit\u00e9 de sortie (par exemple, p_enter<\/em> = 0,05 et p_remove<\/em> = 0,10). Cette asym\u00e9trie garantit qu’une variable r\u00e9cemment accept\u00e9e ne soit pas imm\u00e9diatement \u00e9vinc\u00e9e lors de l’\u00e9tape de contr\u00f4le subs\u00e9quente sous des conditions d’\u00e9chantillonnage similaires.<\/p>\n

8.2 G\u00e9n\u00e9ration et interpr\u00e9tation des m\u00e9triques d\u00e9taill\u00e9es<\/h3>\n

L’un des avantages les plus manifestes de l’environnement olsrr r\u00e9side dans la richesse analytique de ses sorties tabulaires, qui contrastent favorablement avec les affichages souvent cryptiques des traces logicielles standard. D\u00e8s l’ex\u00e9cution de la s\u00e9lection, olsrr g\u00e9n\u00e8re un tableau de bord exhaustif retra\u00e7ant avec une pr\u00e9cision chronologique l’int\u00e9gralit\u00e9 des indicateurs de performance enregistr\u00e9s au terme de chaque transition d’\u00e9tat.<\/p>\n

Pour chaque variable nouvellement int\u00e9gr\u00e9e ou radi\u00e9e, la sortie tabulaire documente non seulement la statistique F partielle et sa p-valeur associ\u00e9e, mais pr\u00e9sente simultan\u00e9ment l’\u00e9volution crois\u00e9e d’un panier d’indicateurs de qualit\u00e9. L’analyste observe conjointement la progression du R\u00b2 conventionnel, l’oscillation du R\u00b2 ajust\u00e9, la trajectoire du crit\u00e8re d’Akaike (AIC), l’\u00e9volution du crit\u00e8re de Schwarz (SBC\/BIC) ainsi que la m\u00e9trique du Cp de Mallows, outil pr\u00e9cieux d’estimation du biais global standardis\u00e9.<\/p>\n

Cette mise en parall\u00e8le directe permet au mod\u00e9lisateur d’identifier visuellement le point d’inflexion correspondant au compromis optimal entre biais et variance. Sur les donn\u00e9es de mtcars<\/em> soumises \u00e0 ols_step_both_p()<\/strong> avec un seuil de significativit\u00e9 conventionnel fix\u00e9 \u00e0 0,05, olsrr met en exergue que l’int\u00e9gration du poids (wt<\/em>) puis de l’acc\u00e9l\u00e9ration (qsec<\/em>) satisfait aux contraintes d’exclusion critique, mais que les variables r\u00e9siduelles \u00e9chouent toutes \u00e0 passer le seuil d’entr\u00e9e de 5 %. Cette analyse rigoureuse aboutit \u00e0 un mod\u00e8le d’une grande sobri\u00e9t\u00e9 structurelle, limitant drastiquement les risques de sur-ajustement souvent induits par les crit\u00e8res d’AIC bruts.<\/p>\n

8.3 Visualisation graphique de la s\u00e9lection s\u00e9quentielle<\/h3>\n

Au-del\u00e0 de la production de rapports textuels, l’atout distinctif d’olsrr s’incarne dans son infrastructure graphique hautement int\u00e9gr\u00e9e. En appliquant simplement la m\u00e9thode g\u00e9n\u00e9rique de trac\u00e9 plot()<\/strong> sur l’objet r\u00e9sultant d’une s\u00e9lection s\u00e9quentielle, l’environnement g\u00e9n\u00e8re automatiquement un panneau multi-graphique articul\u00e9 autour de quatre fen\u00eatres d’\u00e9valuation visuelle synchronis\u00e9es, synth\u00e9tisant l’\u00e9volution des m\u00e9triques d\u00e9cisionnelles majeures en fonction des paliers it\u00e9ratifs franchis.<\/p>\n

Le premier quadrant expose l’\u00e9volution du coefficient de d\u00e9termination classique confront\u00e9 au R\u00b2 ajust\u00e9, illustrant comment ce dernier plafonne pr\u00e9cocement d\u00e8s la troisi\u00e8me variable introduite avant d’amorcer une d\u00e9gradation en cas de surparam\u00e9trisation. Le deuxi\u00e8me quadrant projette la trajectoire conjointe des crit\u00e8res AIC et BIC, mat\u00e9rialisant visuellement la divergence de s\u00e9v\u00e9rit\u00e9 entre la p\u00e9nalit\u00e9 logarithmique et la p\u00e9nalit\u00e9 statique. Le troisi\u00e8me graphique illustre la dynamique de l’erreur quadratique moyenne de pr\u00e9diction, tandis que le quatri\u00e8me quadrant suit la courbe du Cp de Mallows, positionnant les it\u00e9rations par rapport \u00e0 la ligne d’identit\u00e9 th\u00e9orique o\u00f9 le Cp \u00e9gale le nombre de param\u00e8tres k.<\/p>\n

Cette visualisation synth\u00e9tique s’av\u00e8re particuli\u00e8rement pr\u00e9cieuse dans le cadre de la recherche quantitative et de la communication scientifique. Plut\u00f4t que de contraindre les pairs \u00e0 d\u00e9chiffrer des colonnes de listings informatiques touffus, ces trac\u00e9s standardis\u00e9s fournissent une d\u00e9monstration visuelle claire du processus d’arbitrage ayant conduit au choix du mod\u00e8le final, conf\u00e9rant \u00e0 la d\u00e9marche exploratoire une transparence m\u00e9thodologique bienvenue.<\/p>\n

9. Diagnostics post-s\u00e9lection et v\u00e9rification des postulats du mod\u00e8le<\/h2>\n

9.1 Normalit\u00e9 et homosc\u00e9dasticit\u00e9 des r\u00e9sidus du mod\u00e8le final<\/h3>\n

L’obtention d’une architecture de r\u00e9gression via une proc\u00e9dure pas \u00e0 pas automatis\u00e9e ne conf\u00e8re aucune garantie intrins\u00e8que quant \u00e0 la validit\u00e9 probabiliste de ses estimations. L’inf\u00e9rence statistique d\u00e9duite des moindres carr\u00e9s ordinaires repose sur un ensemble de postulats distributionnels stricts qui, s’ils sont viol\u00e9s, rendent totalement inop\u00e9rants les tests d’hypoth\u00e8ses et les intervalles de confiance associ\u00e9s. La premi\u00e8re \u00e9tape des diagnostics post-s\u00e9lection consiste donc \u00e0 soumettre les r\u00e9sidus standardis\u00e9s du mod\u00e8le retenu \u00e0 un examen critique approfondi.<\/p>\n

L’\u00e9valuation de la normalit\u00e9 de la distribution des erreurs s’amorce graphiquement par l’examen minutieux d’un diagramme quantile-quantile (Q-Q plot), confrontant les quantiles empiriques des r\u00e9sidus standardis\u00e9s aux quantiles th\u00e9oriques issus d’une loi normale univari\u00e9e. Les d\u00e9viations observ\u00e9es aux extr\u00e9mit\u00e9s de la droite d’ajustement indiquent la pr\u00e9sence \u00e9ventuelle de queues de distribution \u00e9paisses ou d’une asym\u00e9trie r\u00e9siduelle. Ce contr\u00f4le visuel doit imp\u00e9rativement \u00eatre consolid\u00e9 par un test d’hypoth\u00e8se formel, tel que le test de normalit\u00e9 de Shapiro-Wilk (shapiro.test()<\/strong>) ; sur le mod\u00e8le mtcars<\/em> associant wt<\/em>, qsec<\/em> et am<\/em>, une p-valeur de 0,46 confirme l’absence de d\u00e9viation significative par rapport \u00e0 la normalit\u00e9 gaussienne.<\/p>\n

Le second postulat fondamental concerne l’homosc\u00e9dasticit\u00e9, c’est-\u00e0-dire l’invariance de la variance de l’al\u00e9a r\u00e9siduel \u00e0 travers l’ensemble des strates du domaine de pr\u00e9diction. L’h\u00e9t\u00e9rosc\u00e9dasticit\u00e9, caract\u00e9ris\u00e9e par une dispersion des erreurs croissant ou d\u00e9croissant en fonction des estimations, fausse l’estimation des erreurs-types des coefficients. Pour diagnostiquer ce ph\u00e9nom\u00e8ne, l’analyste confronte visuellement la racine carr\u00e9e des r\u00e9sidus standardis\u00e9s aux valeurs ajust\u00e9es et ex\u00e9cute le test formel de Breusch-Pagan, disponible dans la biblioth\u00e8que car via la syntaxe ncvTest()<\/strong>. L’obtention d’une valeur p sup\u00e9rieure au seuil d’alerte atteste d’une variance homog\u00e8ne, \u00e9cartant la n\u00e9cessit\u00e9 d’un recours imm\u00e9diat \u00e0 des matrices de variance-covariance robustes de type White.<\/p>\n

9.2 Lin\u00e9arit\u00e9 et ind\u00e9pendance des erreurs<\/h3>\n

Le postulat de lin\u00e9arit\u00e9 postule que l’esp\u00e9rance conditionnelle du terme d’erreur est rigoureusement nulle pour toute combinaison des variables ind\u00e9pendantes, garantissant ainsi que la forme fonctionnelle lin\u00e9aire adopt\u00e9e capture convenablement la structure moyenne du ph\u00e9nom\u00e8ne \u00e9tudi\u00e9. La m\u00e9thode d’investigation privil\u00e9gi\u00e9e consiste \u00e0 tracer le nuage des r\u00e9sidus ordinaires en fonction des valeurs pr\u00e9dites par le mod\u00e8le ajust\u00e9. L’apparition d’un motif g\u00e9om\u00e9trique courb\u00e9 ou d’une concavit\u00e9 marqu\u00e9e constitue la signature clinique d’une non-lin\u00e9arit\u00e9 fondamentale omise par l’\u00e9quation de r\u00e9gression.<\/p>\n

Pour affiner ce diagnostic, la biblioth\u00e8que car<\/a> offre la fonction residualPlots()<\/strong>, qui segmente cette v\u00e9rification en projetant les r\u00e9sidus ind\u00e9pendamment sur chaque covariable int\u00e9gr\u00e9e au mod\u00e8le tout en ex\u00e9cutant des tests de courbure quadratique partiels. Si une d\u00e9pendance curvilin\u00e9aire se manifeste face \u00e0 un r\u00e9gresseur continu donn\u00e9, l’analyste doit corriger la structure du pr\u00e9dicteur lin\u00e9aire en appliquant une transformation non lin\u00e9aire adapt\u00e9e, telle qu’une transformation logarithmique, une racine carr\u00e9e ou l’introduction d’un terme polynomial d’ordre sup\u00e9rieur, avant de r\u00e9\u00e9valuer la pertinence globale de l’ajustement.<\/p>\n

Enfin, l’ind\u00e9pendance mutuelle des termes d’erreur r\u00e9siduels doit \u00eatre soumise \u00e0 v\u00e9rification formelle, plus particuli\u00e8rement lorsque les donn\u00e9es pr\u00e9sentent un ordonnancement temporel ou spatial latent. La pr\u00e9sence d’une autocorr\u00e9lation des r\u00e9sidus fausse les estimateurs de variance, cr\u00e9ant des risques majeurs d’inf\u00e9rences erron\u00e9es. L’ex\u00e9cution du test d’autocorr\u00e9lation de Durbin-Watson via l’instruction durbinWatsonTest()<\/strong> permet de v\u00e9rifier l’absence d’autocorr\u00e9lation d’ordre un. Une statistique Durbin-Watson avoisinant une valeur de 2, conjugu\u00e9e \u00e0 une probabilit\u00e9 critique largement sup\u00e9rieure \u00e0 0,05, confirme l’orthogonalit\u00e9 temporelle des perturbations stochastiques.<\/p>\n

9.3 Identification des observations influentes et points aberrants<\/h3>\n

La r\u00e9gression pas \u00e0 pas souffre d’une sensibilit\u00e9 pathologique \u00e0 la pr\u00e9sence de donn\u00e9es aberrantes ou de points atypiques au sein de la matrice d’entra\u00eenement. En raison de la m\u00e9canique quadratique des moindres carr\u00e9s, une seule observation occupant une position p\u00e9riph\u00e9rique dans l’espace multidimensionnel des covariables peut modifier radicalement la hi\u00e9rarchie des crit\u00e8res d’information, provoquant l’inclusion d’une variable qui aurait \u00e9t\u00e9 autrement rejet\u00e9e. La phase de diagnostic post-s\u00e9lection impose donc un d\u00e9pistage sans concession de ces points d’influence.<\/p>\n

La d\u00e9tection repose sur l’\u00e9valuation combin\u00e9e de trois m\u00e9triques compl\u00e9mentaires : les r\u00e9sidus studentis\u00e9s pour \u00e9valuer le caract\u00e8re aberrant de la valeur endog\u00e8ne, les valeurs de levier (hat values<\/em>) pour quantifier l’excentricit\u00e9 de l’observation dans l’espace des pr\u00e9dicteurs, et la distance de Cook pour mesurer l’impact global du retrait d’une observation sur l’ensemble des coefficients de r\u00e9gression estim\u00e9s. R facilite cette inspection multidimensionnelle \u00e0 travers le trac\u00e9 diagnostique influencePlot()<\/strong> de la biblioth\u00e8que car, qui synth\u00e9tise ces trois dimensions au sein d’une cartographie visuelle intuitive.<\/p>\n

Dans l’\u00e9chantillon mtcars<\/em>, l’inspection minutieuse de ces m\u00e9triques d’influence identifie les v\u00e9hicules Chrysler Imperial<\/em>, Toyota Corolla<\/em> et Maserati Bora<\/em> comme des observations singuli\u00e8res pr\u00e9sentant des distances de Cook sup\u00e9rieures au seuil d’alerte usuel \u00e9tabli \u00e0 4\/(n – k – 1). L’analyste rigoureux se doit d’\u00e9prouver la robustesse de sa s\u00e9lection s\u00e9quentielle en r\u00e9ex\u00e9cutant l’algorithme pas \u00e0 pas apr\u00e8s neutralisation temporaire de ces observations influentes. Si l’architecture structurelle du mod\u00e8le terminal est boulevers\u00e9e par l’absence d’une seule observation, le mod\u00e8le pas \u00e0 pas ne saurait \u00eatre consid\u00e9r\u00e9 comme fiable pour des inf\u00e9rences scientifiques durables.<\/p>\n

10. Validation crois\u00e9e et \u00e9valuation de la capacit\u00e9 pr\u00e9dictive<\/h2>\n

10.1 Le biais d’optimisme et le risque de surapprentissage (overfitting)<\/h3>\n

L’un des mirages statistiques les plus pernicieux de la mod\u00e9lisation s\u00e9quentielle r\u00e9side dans le biais d’optimisme intra-\u00e9chantillon. Lorsqu’un algorithme pas \u00e0 pas s\u00e9lectionne un groupe restreint de pr\u00e9dicteurs au terme de l’\u00e9valuation de dizaines de configurations alternatives au sein d’un m\u00eame jeu de donn\u00e9es, il optimise math\u00e9matiquement l’ajustement en capturant non seulement les signaux causaux fondamentaux, mais \u00e9galement les corr\u00e9lations fortuites propres \u00e0 cet \u00e9chantillon particulier. Ce ph\u00e9nom\u00e8ne, qualifi\u00e9 de surapprentissage ou overfitting<\/em>, engendre une d\u00e9gradation substantielle des performances d\u00e8s que le mod\u00e8le est projet\u00e9 sur de nouvelles donn\u00e9es.<\/p>\n

Ce biais d’ajustement implique que le coefficient de d\u00e9termination classique (R\u00b2) et l’erreur-type r\u00e9siduelle affich\u00e9s par le mod\u00e8le final sont syst\u00e9matiquement surestim\u00e9s dans leur capacit\u00e9 descriptive. L’analyste non averti s’illusionne en contemplant un R\u00b2 de 85 %, ignorant que cette statistique ne refl\u00e8te qu’une adaptation opportuniste aux contingences locales des donn\u00e9es d’entra\u00eenement. Si cette m\u00eame \u00e9quation lin\u00e9aire \u00e9tait appliqu\u00e9e \u00e0 une cohorte de v\u00e9hicules contemporains distincte, sa capacit\u00e9 explicative s’effondrerait fr\u00e9quemment \u00e0 des niveaux dramatiquement inf\u00e9rieurs.<\/p>\n

Ce d\u00e9calage entre la performance interne et l’extrapolabilit\u00e9 externe rend indispensable la mise en place de protocoles stricts de validation ind\u00e9pendante. L’unique moyen d’\u00e9valuer la valeur pr\u00e9dictive r\u00e9elle d’un mod\u00e8le issu d’une s\u00e9lection s\u00e9quentielle consiste \u00e0 le confronter \u00e0 des observations qui n’ont jou\u00e9 aucun r\u00f4le, direct ou indirect, dans les calculs d’ajustement des moindres carr\u00e9s ou dans le tri des crit\u00e8res d’information.<\/p>\n

10.3 Stabilit\u00e9 du sous-ensemble de variables s\u00e9lectionn\u00e9es<\/h3>\n

Au-del\u00e0 de la quantification num\u00e9rique de l’erreur pr\u00e9dictive globale, la validation crois\u00e9e r\u00e9p\u00e9t\u00e9e met en lumi\u00e8re une fragilit\u00e9 fondamentale des algorithmes pas \u00e0 pas : l’instabilit\u00e9 structurelle des sous-ensembles de covariables retenues. Si l’on applique l’algorithme de s\u00e9lection s\u00e9quentielle sur 100 r\u00e9\u00e9chantillonnages par bootstrap ou \u00e0 travers les multiples blocs d’une validation crois\u00e9e, on observe presque syst\u00e9matiquement que la composition exacte du mod\u00e8le terminal fluctue de mani\u00e8re substantielle d’un pli \u00e0 l’autre.<\/p>\n

Dans certaines it\u00e9rations, l’algorithme s\u00e9lectionnera le couple compos\u00e9 du poids et de l’acc\u00e9l\u00e9ration (wt<\/em> et qsec<\/em>) ; dans d’autres plis, une infime variation d’\u00e9chantillonnage induira l’int\u00e9gration concurrente de la cylindr\u00e9e et de la transmission (disp<\/em> et am<\/em>) au d\u00e9triment de l’acc\u00e9l\u00e9ration. Cette volatilit\u00e9 illustre que le sous-ensemble de variables extrait par une d\u00e9marche pas \u00e0 pas ne refl\u00e8te pas une configuration causale p\u00e9renne, mais d\u00e9pend \u00e9troitement des fluctuations locales de l’\u00e9chantillon pr\u00e9sent.<\/p>\n

Pour mesurer formellement cette coh\u00e9rence de s\u00e9lection, la litt\u00e9rature m\u00e9thodologique pr\u00e9conise le calcul d’indices de stabilit\u00e9, tels que l’indice d’accord de Jaccard calcul\u00e9 sur l’ensemble des paires de sous-mod\u00e8les d\u00e9riv\u00e9s des r\u00e9\u00e9chantillonnages successifs. Un faible taux de concordance parmi les pr\u00e9dicteurs s\u00e9lectionn\u00e9s constitue un avertissement sans appel : le chercheur ne saurait fonder des conclusions th\u00e9oriques durables sur la composition d’un mod\u00e8le dont la structure bascule au gr\u00e9 de l’omission ou de l’adjonction de quelques individus au sein de la base d’apprentissage.<\/p>\n

11. Limites critiques et controverses m\u00e9thodologiques de la r\u00e9gression stepwise<\/h2>\n

11.1 Biais d’estimation et d\u00e9formation des inf\u00e9rences statistiques<\/h3>\n

L’emploi de la r\u00e9gression pas \u00e0 pas dans les disciplines scientifiques fait l’objet de critiques m\u00e9thodologiques s\u00e9v\u00e8res depuis plusieurs d\u00e9cennies. Le grief statistique le plus lourd r\u00e9side dans la d\u00e9naturation syst\u00e9matique des propri\u00e9t\u00e9s fondamentales des estimateurs apr\u00e8s s\u00e9lection. D\u00e8s lors qu’un mod\u00e8le n’est conserv\u00e9 qu’en raison de sa capacit\u00e9 \u00e0 franchir un seuil d’admissibilit\u00e9 statistique, les lois de probabilit\u00e9 usuelles r\u00e9gissant les estimateurs des moindres carr\u00e9s cessent rigoureusement de s’appliquer.<\/p>\n

Cette distorsion se manifeste par trois anomalies majeures document\u00e9es par le statisticien Frank Harrell dans ses ouvrages de r\u00e9f\u00e9rence :<\/p>\n

10.2 Mise en \u0153uvre du k-fold cross-validation avec caret<\/h3>\n

Pour quantifier l’erreur de g\u00e9n\u00e9ralisation sans sacrifier une fraction excessive des donn\u00e9es au sein d’une partition unique d’apprentissage et de test, la validation crois\u00e9e \u00e0 k blocs (k-fold cross-validation<\/em>) constitue le protocole exp\u00e9rimental de r\u00e9f\u00e9rence. Le principe consiste \u00e0 segmenter al\u00e9atoirement l’\u00e9chantillon d’observations en k<\/em> sous-ensembles \u00e9quilibr\u00e9s et disjoints. Tour \u00e0 tour, chaque bloc sert de jeu de test ind\u00e9pendant pour \u00e9valuer un mod\u00e8le calibr\u00e9 sur les k-1<\/em> blocs restants, le r\u00e9sultat global s’exprimant par la moyenne des erreurs quadratiques enregistr\u00e9es sur les k<\/em> r\u00e9p\u00e9titions.<\/p>\n

Dans l’environnement R, la biblioth\u00e8que sp\u00e9cialis\u00e9e caret<\/a> (Classification and Regression Training) offre une plateforme unifi\u00e9e pour automatiser ces proc\u00e9dures d’\u00e9valuation crois\u00e9e. Pour \u00e9valuer la d\u00e9marche de s\u00e9lection pas \u00e0 pas de mani\u00e8re impartiale, il est crucial d’\u00e9viter une faute m\u00e9thodologique r\u00e9pandue : s\u00e9lectionner le mod\u00e8le une premi\u00e8re fois sur l’ensemble complet des donn\u00e9es, puis \u00e9valuer les coefficients par validation crois\u00e9e. Cette approche constitue une fuite d’information majeure (data leakage<\/em>) puisque la s\u00e9lection des variables a d\u00e9j\u00e0 b\u00e9n\u00e9fici\u00e9 de l’information contenue dans les futurs blocs de test.<\/p>\n

Le protocole rigoureux exige que l’int\u00e9gralit\u00e9 du processus de s\u00e9lection pas \u00e0 pas soit r\u00e9ex\u00e9cut\u00e9e de mani\u00e8re herm\u00e9tique au sein de chaque pli d’entra\u00eenement. En param\u00e9trant la m\u00e9thode de contr\u00f4le par validation crois\u00e9e \u00e0 5 ou 10 blocs via trainControl(method = \u00ab\u00a0cv\u00a0\u00bb, number = 10)<\/strong> et en sp\u00e9cifiant la m\u00e9thode de r\u00e9gression lin\u00e9aire s\u00e9quentielle train(…, method = \u00ab\u00a0leapSeq\u00a0\u00bb)<\/strong>, caret orchestre ce r\u00e9entra\u00eenement r\u00e9cursif complet. L’extraction de la racine de l’erreur quadratique moyenne de pr\u00e9diction (RMSE) et de l’erreur absolue moyenne (MAE) fournit alors une estimation non biais\u00e9e du v\u00e9ritable potentiel pr\u00e9dictif du mod\u00e8le dans des conditions d’application r\u00e9elles.<\/p>\n