Dans le domaine de la mod\u00e9lisation statistique et de l’\u00e9conom\u00e9trie appliqu\u00e9e, le choix des variables explicatives au sein d’un mod\u00e8le de r\u00e9gression lin\u00e9aire constitue un d\u00e9fi m\u00e9thodologique fondamental. Lorsqu’un chercheur tente de rendre compte d’un ph\u00e9nom\u00e8ne complexe \u00e0 partir de donn\u00e9es empiriques, il se heurte in\u00e9vitablement \u00e0 un dilemme \u00e9pist\u00e9mologique et pratique : l’arbitrage entre l’exhaustivit\u00e9 descriptive et la simplicit\u00e9 structurelle. L’adjonction syst\u00e9matique de pr\u00e9dicteurs au sein d’une \u00e9quation permet d’augmenter artificiellement la proportion de variance expliqu\u00e9e sur l’\u00e9chantillon d’apprentissage, mais elle d\u00e9t\u00e9riore simultan\u00e9ment la pr\u00e9cision des estimateurs et la capacit\u00e9 du mod\u00e8le \u00e0 se g\u00e9n\u00e9raliser \u00e0 de nouvelles observations ind\u00e9pendantes.<\/p>\n
Pour r\u00e9pondre \u00e0 cette probl\u00e9matique r\u00e9currente, le statisticien Colin Lingwood Mallows a formalis\u00e9 au d\u00e9but des ann\u00e9es 1970 un crit\u00e8re d’\u00e9valuation qui a profond\u00e9ment transform\u00e9 la s\u00e9lection de mod\u00e8les : le coefficient ou statistique $C_p$<\/span> de Mallows. Con\u00e7u pour quantifier l’erreur quadratique moyenne totale de pr\u00e9diction tout en p\u00e9nalisant rigoureusement la surparam\u00e9trisation, cet indice s’est impos\u00e9 comme une boussole analytique de premier plan. Il permet d’extraire, parmi une myriade de configurations de r\u00e9gresseurs possibles, le sous-ensemble optimal conciliant une absence substantielle de biais de sp\u00e9cification et une variance d’\u00e9chantillonnage minimale.<\/p>\n Cet article propose une analyse approfondie et exhaustive du $C_p$<\/span> de Mallows. \u00c0 travers l’examen minutieux de ses fondements th\u00e9oriques, de sa d\u00e9rivation math\u00e9matique dans le cadre du compromis biais-variance, de ses r\u00e8gles d’interpr\u00e9tation g\u00e9om\u00e9trique et de sa mise en \u0153uvre algorithmique sur des donn\u00e9es empiriques concr\u00e8tes, nous explorerons comment cet outil demeure, plus d’un demi-si\u00e8cle apr\u00e8s sa formulation, un pilier incontournable de l’analyse multivari\u00e9e et de la recherche empirique moderne.<\/p>\n L’\u00e9mergence du crit\u00e8re de Mallows s’inscrit au c\u0153ur d’une d\u00e9cennie charni\u00e8re pour la statistique appliqu\u00e9e. Au d\u00e9but des ann\u00e9es 1970, l’informatique naissante commence \u00e0 \u00e9quiper les laboratoires de recherche et les centres de calcul d’une puissance computationnelle sans pr\u00e9c\u00e9dent, rendant soudainement envisageable le calcul de dizaines, voire de centaines d’\u00e9quations de r\u00e9gression en un temps restreint. C’est dans ce contexte intellectuel effervescent, au sein des c\u00e9l\u00e8bres laboratoires Bell (Bell Laboratories<\/a>), que Colin Lingwood Mallows m\u00e8ne ses travaux sur la s\u00e9lection de sous-ensembles de variables. Bien qu’ayant fait circuler des notes m\u00e9thodologiques d\u00e8s la fin des ann\u00e9es 1960, c’est en 1973 que Mallows formalise sa contribution majeure dans un article s\u00e9minal publi\u00e9 par la revue Technometrics<\/em>, intitul\u00e9 \u00ab Some Comments on $C_p$<\/span> \u00bb.<\/p>\n La communaut\u00e9 scientifique de l’\u00e9poque \u00e9tait confront\u00e9e \u00e0 une impasse proc\u00e9durale : face \u00e0 une multitude de pr\u00e9dicteurs potentiels, les analystes s’en remettaient fr\u00e9quemment \u00e0 des proc\u00e9dures empiriques automatis\u00e9es, souvent mal comprises, ou \u00e0 la simple observation du coefficient de d\u00e9termination global. Mallows a identifi\u00e9 l’urgence d’\u00e9tablir une passerelle rigoureuse entre l’analyse exploratoire des donn\u00e9es et l’inf\u00e9rence formelle. Sa d\u00e9marche visait \u00e0 d\u00e9passer la simple intuition clinique du chercheur en proposant une m\u00e9trique objective, d\u00e9rivable et graphique, capable d’\u00e9valuer la qualit\u00e9 pr\u00e9dictive d’un mod\u00e8le r\u00e9duit par rapport \u00e0 un mod\u00e8le suppos\u00e9 complet.<\/p>\n L’impact de la contribution de Mallows s’est rapidement \u00e9tendu bien au-del\u00e0 de la statistique th\u00e9orique. En \u00e9conom\u00e9trie, en biostatistique naissante et en psychom\u00e9trie quantitative, la statistique $C_p$<\/span> a ouvert la voie \u00e0 une formalisation de la parcimonie. Elle a offert aux chercheurs un cadre analytique math\u00e9matiquement fond\u00e9 pour abandonner les d\u00e9marches ad hoc au profit d’une s\u00e9lection de r\u00e9gresseurs contr\u00f4l\u00e9e, marquant ainsi une rupture d\u00e9cisive dans l’histoire des m\u00e9thodes de mod\u00e9lisation statistique lin\u00e9aire.<\/p>\n Au c\u0153ur de la mod\u00e9lisation scientifique r\u00e9side le principe de parcimonie, souvent assimil\u00e9 au c\u00e9l\u00e8bre rasoir d’Ockham<\/a> : parmi plusieurs hypoth\u00e8ses ou mod\u00e8les concurrents capables de rendre compte d’un ph\u00e9nom\u00e8ne de mani\u00e8re \u00e9quivalente, la configuration la plus sobre et comportant le moins de postulats superflus doit syst\u00e9matiquement \u00eatre privil\u00e9gi\u00e9e. Transpos\u00e9 \u00e0 l’analyse de r\u00e9gression lin\u00e9aire multiple, ce principe philosophique se traduit par la recherche d’un \u00e9quilibre d\u00e9licat entre deux \u00e9cueils m\u00e9thodologiques majeurs : le sous-ajustement (underfitting) et le surajustement (overfitting).<\/p>\n Le sous-ajustement survient lorsqu’un mod\u00e8le omet une ou plusieurs variables explicatives ayant un impact causal ou structurel r\u00e9el sur la variable d\u00e9pendante. Les cons\u00e9quences statistiques de cette omission sont d\u00e9sastreuses : les estimateurs des coefficients associ\u00e9s aux pr\u00e9dicteurs retenus deviennent syst\u00e9matiquement biais\u00e9s si ces derniers sont corr\u00e9l\u00e9s aux variables \u00e9cart\u00e9es, faussant irr\u00e9m\u00e9diablement l’interpr\u00e9tation th\u00e9orique et d\u00e9gradant le pouvoir pr\u00e9dictif du mod\u00e8le. \u00c0 l’oppos\u00e9, le surajustement r\u00e9sulte de l’inclusion d\u00e9brid\u00e9e de r\u00e9gresseurs non pertinents ou redondants. Si l’int\u00e9gration de pr\u00e9dicteurs accessoires permet de r\u00e9duire m\u00e9caniquement la somme des carr\u00e9s des erreurs r\u00e9siduelles au sein de l’\u00e9chantillon sp\u00e9cifique ayant servi \u00e0 l’\u00e9talonnage, elle introduit un bruit stochastique substantiel. Ce ph\u00e9nom\u00e8ne engendre une inflation artificielle de la variance des estimateurs, rendant le mod\u00e8le excessivement sensible aux al\u00e9as de l’\u00e9chantillonnage et annihilant sa capacit\u00e9 de g\u00e9n\u00e9ralisation en population g\u00e9n\u00e9rale.<\/p>\n Le r\u00f4le du $C_p$<\/span> de Mallows est pr\u00e9cis\u00e9ment d’arbitrer de mani\u00e8re probabiliste et rationnelle entre ces deux forces contradictoires. En p\u00e9nalisant formellement chaque variable additionnelle par rapport au gain de variance r\u00e9siduelle qu’elle apporte, le $C_p$<\/span> permet d’identifier l’espace param\u00e9trique optimal o\u00f9 le biais d’omission est r\u00e9sorb\u00e9 sans que la variance d’estimation ne devienne prohibitive pour l’inf\u00e9rence pr\u00e9dictive.<\/p>\n Dans le domaine des sciences empiriques contemporaines, et plus particuli\u00e8rement en psychologie quantitative, en neurosciences cognitives et en sociologie computationnelle, les praticiens sont r\u00e9guli\u00e8rement confront\u00e9s \u00e0 des plans d’exp\u00e9rience o\u00f9 le nombre de covariables potentielles est \u00e9lev\u00e9 par rapport au volume des \u00e9chantillons accessibles. Qu’il s’agisse de batteries d’\u00e9chelles psychom\u00e9triques, de biomarqueurs neurophysiologiques ou d’indicateurs environnementaux, le risque de d\u00e9river vers des conclusions scientifiques erron\u00e9es en raison de s\u00e9lections de mod\u00e8les opportunistes est omnipr\u00e9sent.<\/p>\n L’utilisation non ma\u00eetris\u00e9e de proc\u00e9dures purement automatis\u00e9es de s\u00e9lection pas \u00e0 pas sans ancrage th\u00e9orique induit souvent une inflation substantielle de l’erreur de type I (faux positifs), conf\u00e9rant une significativit\u00e9 fallacieuse \u00e0 des relations purement fortuites. Le crit\u00e8re $C_p$<\/span> de Mallows constitue un rempart m\u00e9thodologique contre ces d\u00e9rives. En introduisant une m\u00e9trique explicite et standardis\u00e9e adoss\u00e9e \u00e0 la th\u00e9orie de l’erreur quadratique moyenne, il autorise une comparaison syst\u00e9matique de l’ensemble des combinaisons envisageables tout en maintenant une vigilance accrue sur la stabilit\u00e9 des param\u00e8tres.<\/p>\n De surcro\u00eet, le $C_p$<\/span> s’articule harmonieusement avec les standards m\u00e9thodologiques actuels que sont la r\u00e9plication empirique et la validation crois\u00e9e. Il offre une grille de lecture param\u00e9trique qui compl\u00e8te les approches non param\u00e9triques de r\u00e9\u00e9chantillonnage de type bootstrap ou k-fold cross-validation. En fournissant une quantification explicite du biais r\u00e9siduel \u00e0 travers une comparaison avec la taille du mod\u00e8le complet, le $C_p$<\/span> permet aux chercheurs de v\u00e9rifier si la r\u00e9duction de dimension op\u00e9r\u00e9e respecte la structure sous-jacente des donn\u00e9es sans d\u00e9naturer la validit\u00e9 interne des conclusions empiriques.<\/p>\n La formulation alg\u00e9brique standard du $C_p$<\/span> de Mallows est \u00e9labor\u00e9e dans le cadre du mod\u00e8le de r\u00e9gression lin\u00e9aire multiple estim\u00e9 par la m\u00e9thode des moindres carr\u00e9s ordinaires (MCO). Consid\u00e9rons un \u00e9chantillon de $N$<\/span> observations ind\u00e9pendantes pour lesquelles on mesure une variable continue d\u00e9pendante $Y$<\/span> sous la forme d’un vecteur de dimension $(N \\times 1)$<\/span>, et un ensemble global de $K$<\/span> pr\u00e9dicteurs potentiels rassembl\u00e9s dans une matrice d’exp\u00e9rience $X$<\/span> de dimension $(N \\times (K + 1))$<\/span>, incluant une colonne unitaire correspondant \u00e0 la constante structurelle (l’ordonn\u00e9e \u00e0 l’origine). Le mod\u00e8le lin\u00e9aire complet s’exprime vectoriellement par l’\u00e9quation classique :<\/p>\n $$Y = X\\beta + \\varepsilon$$<\/span><\/p>\n o\u00f9 $\\beta$<\/span> est le vecteur des param\u00e8tres d’int\u00e9r\u00eat de dimension $((K + 1) \\times 1)$<\/span> et $varepsilon$<\/span> repr\u00e9sente le vecteur des perturbations al\u00e9atoires, suppos\u00e9es ind\u00e9pendantes et identiquement distribu\u00e9es selon une loi normale centr\u00e9e d’esp\u00e9rance nulle et de matrice de variance-covariance homosc\u00e9dastique $\\sigma^2 I_N$<\/span>, conform\u00e9ment aux hypoth\u00e8ses traditionnelles de Gauss-Markov<\/a>.<\/p>\n Supposons que nous souhaitions \u00e9valuer la performance d’un mod\u00e8le sous-jacent plus restreint, ne contenant qu’un sous-ensemble de $P$<\/span> pr\u00e9dicteurs parmi les $K$<\/span> initialement disponibles (auquel s’ajoute la constante d’ordonn\u00e9e \u00e0 l’origine, portant le nombre total de coefficients \u00e0 estimer \u00e0 $P + 1$<\/span>). L’expression canonique de la statistique $C_p$<\/span> pour ce mod\u00e8le restreint s’\u00e9nonce comme suit :<\/p>\n $$C_p = \\frac{RSS_p}{S^2} – N + 2(P + 1)$$<\/span><\/p>\n o\u00f9 les termes $RSS_p$<\/span>, $S^2$<\/span>, $N$<\/span> et $P$<\/span> font l’objet d’une d\u00e9finition math\u00e9matique rigoureuse explicit\u00e9e dans les sous-sections subs\u00e9quentes.<\/p>\n Afin d’appr\u00e9hender intimement la dynamique op\u00e9ratoire du $C_p$<\/span>, il est imp\u00e9ratif de d\u00e9composer m\u00e9ticuleusement chacun des constituants alg\u00e9briques participant \u00e0 sa structure :<\/p>\n L’architecture alg\u00e9brique du $C_p$<\/span> de Mallows condense une m\u00e9canique d’ajustement particuli\u00e8rement \u00e9l\u00e9gante, fond\u00e9e sur la confrontation directe entre une mesure de divergence standardis\u00e9e et une p\u00e9nalit\u00e9 lin\u00e9aire de surparam\u00e9trisation. Le premier membre de la formule, \u00e0 savoir le quotient $\\frac{RSS_p}{S^2}$<\/span>, repr\u00e9sente la somme des erreurs au carr\u00e9 du mod\u00e8le candidat standardis\u00e9e par la meilleure approximation disponible de la variance d’erreur pure de la population. Si le mod\u00e8le restreint s’ajustait parfaitement aux donn\u00e9es sans omission de structure causale, ce ratio tendrait vers le nombre de degr\u00e9s de libert\u00e9 r\u00e9siduels associ\u00e9, c’est-\u00e0-dire approximativement vers $(N – P – 1)$<\/span>.<\/p>\n C’est ici qu’intervient le terme de soustraction $- N$<\/span>. En retranchant la taille d’\u00e9chantillon $N$<\/span> de ce rapport, Mallows isole la composante d’exc\u00e8s de variance et de biais relatif : le terme $\\left(\\frac{RSS_p}{S^2} – N\\right)$<\/span> \u00e9volue ainsi vers une valeur proche de $-(P + 1)$<\/span> si le mod\u00e8le n’est pas biais\u00e9. Pour contrebalancer cet effet et \u00e9tablir une m\u00e9trique standardis\u00e9e facile \u00e0 interpr\u00e9ter vis-\u00e0-vis du nombre de param\u00e8tres, la formule r\u00e9injecte le terme additif $2(P + 1)$<\/span>.<\/p>\n Ce terme $2(P + 1)$<\/span> op\u00e8re comme une p\u00e9nalit\u00e9 structurelle incontournable : chaque r\u00e9gresseur ajout\u00e9 au mod\u00e8le induit automatiquement une majoration de 2 unit\u00e9s de la statistique $C_p$<\/span>. Pour qu’un nouveau pr\u00e9dicteur am\u00e9liore le crit\u00e8re (c’est-\u00e0-dire conduise \u00e0 une baisse du $C_p$<\/span>), il est math\u00e9matiquement n\u00e9cessaire que la baisse induite sur le ratio $\\frac{RSS_p}{S^2}$<\/span> soit strictement sup\u00e9rieure \u00e0 2 unit\u00e9s. En d’autres termes, la r\u00e9duction brute de la somme des carr\u00e9s des r\u00e9sidus doit surpasser deux fois la variance r\u00e9siduelle estim\u00e9e de l’erreur ($RSS_{p} – RSS_{p+1} > 2S^2$<\/span>). Par cette pond\u00e9ration, Mallows interdit l’incorporation de variables dont le pouvoir pr\u00e9dictif marginal serait n\u00e9gligeable face au co\u00fbt d’instabilit\u00e9 qu’elles infligent au syst\u00e8me.<\/p>\n Pour appr\u00e9hender la port\u00e9e \u00e9pist\u00e9mologique du $C_p$<\/span>, il est n\u00e9cessaire de se pencher sur sa d\u00e9rivation th\u00e9orique, laquelle trouve sa source dans la notion d’erreur quadratique moyenne totale de pr\u00e9diction (Total Mean Squared Error of Prediction), d\u00e9sign\u00e9e usuellement par la lettre grecque majuscule $\\Gamma_p$<\/span> (Gamma de $P$<\/span>). Supposons que nous souhaitions pr\u00e9dire un nouveau vecteur de r\u00e9ponses $Y^*$<\/span> issu des m\u00eames coordonn\u00e9es matricielles $X$<\/span>. L’erreur quadratique moyenne totale d’ajustement et de pr\u00e9diction se formalise selon l’esp\u00e9rance math\u00e9matique vectorielle :<\/p>\n $$\\Gamma_p = \\frac{E\\left[\\sum_{i=1}^N (\\hat{y}_{i,p} – E[y_i])^2\\right]}{\\sigma^2}$$<\/span><\/p>\n En d\u00e9composant l’\u00e9cart quadratique entre la valeur pr\u00e9dite par le sous-mod\u00e8le $\\hat{y}_{i,p}$<\/span> et la v\u00e9ritable esp\u00e9rance th\u00e9orique sous-jacente $E[y_i]$<\/span>, l’alg\u00e8bre vectorielle classique permet de scinder cette somme en deux entit\u00e9s distinctes mais intriqu\u00e9es : la somme des variances d’estimation de chaque point pr\u00e9dit d’une part, et le carr\u00e9 du biais syst\u00e9matique de mod\u00e9lisation d’autre part. Cette d\u00e9composition fondamentale s’\u00e9crit :<\/p>\n $$\\Gamma_p = \\frac{\\sum_{i=1}^N \\text{Var}(\\hat{y}_{i,p})}{\\sigma^2} + \\frac{\\sum_{i=1}^N \\left(E[\\hat{y}_{i,p}] – E[y_i]\\right)^2}{\\sigma^2}$$<\/span><\/p>\n Le premier terme, repr\u00e9sentant la somme des variances des pr\u00e9dictions normalis\u00e9e par la variance de l’erreur $\\sigma^2$<\/span>, est exactement \u00e9gal au nombre total de param\u00e8tres estim\u00e9s dans le sous-mod\u00e8le, soit $(P + 1)$<\/span>. Le second terme repr\u00e9sente le biais quadratique total standardis\u00e9 de sp\u00e9cification, not\u00e9 couramment $B_p \/ \\sigma^2$<\/span>. Par cons\u00e9quent, l’esp\u00e9rance th\u00e9orique du risque pr\u00e9dictif s’\u00e9nonce :<\/p>\n $$\\Gamma_p = (P + 1) + \\frac{B_p}{\\sigma^2}$$<\/span><\/p>\n Mallows a d\u00e9montr\u00e9 que la statistique $C_p$<\/span> constitue un estimateur sans biais de cette quantit\u00e9 th\u00e9orique $\\Gamma_p$<\/span>. En calculant l’esp\u00e9rance math\u00e9matique de la somme des carr\u00e9s r\u00e9siduels $RSS_p$<\/span>, on obtient $E[RSS_p] = B_p + (N – P – 1)\\sigma^2$<\/span>. En injectant cette identit\u00e9 dans l’\u00e9quation du $C_p$<\/span> et en substituant l’estimateur convergent $S^2$<\/span> \u00e0 $\\sigma^2$<\/span>, l’esp\u00e9rance conditionnelle de $C_p$<\/span> converge rigoureusement vers $\\Gamma_p$<\/span>. Ainsi, \u00e9valuer le $C_p$<\/span> revient math\u00e9matiquement \u00e0 estimer l’erreur quadratique totale de pr\u00e9diction hors \u00e9chantillon.<\/p>\n L’omission de variables explicatives pertinentes engendre une d\u00e9faillance structurelle au sein de la mod\u00e9lisation lin\u00e9aire. Lorsque des variables fondamentales sont \u00e9cart\u00e9es du mod\u00e8le restreint, le biais th\u00e9orique $B_p$<\/span> n’est plus nul ; il prend une valeur positive proportionnelle \u00e0 l’amplitude des coefficients des r\u00e9gresseurs omis et \u00e0 leur structure de corr\u00e9lation avec les variables maintenues. Ce biais contamine directement la somme des carr\u00e9s r\u00e9siduels $RSS_p$<\/span>, laquelle se trouve artificiellement gonfl\u00e9e au-del\u00e0 de ce que la simple variance d’erreur al\u00e9atoire autoriserait.<\/p>\n1. Introduction et fondements conceptuels du Cp de Mallows<\/h2>\n
1.1 Origine historique et contribution de Colin Lingwood Mallows<\/h3>\n
1.2 Objectif statistique : \u00e9quilibre entre parcimonie et pouvoir pr\u00e9dictif<\/h3>\n
1.3 Pertinence m\u00e9thodologique dans les sciences empiriques<\/h3>\n
2. Formulation math\u00e9matique rigoureuse du Cp de Mallows<\/h2>\n
2.1 Pr\u00e9sentation de l’\u00e9quation standard<\/h3>\n
2.2 D\u00e9composition exhaustive des variables et param\u00e8tres<\/h3>\n
\n
2.3 M\u00e9canisme de p\u00e9nalisation de la complexit\u00e9<\/h3>\n
3. Sous-bassement th\u00e9orique : le compromis biais-variance<\/h2>\n
3.1 D\u00e9rivation \u00e0 partir de l’erreur quadratique moyenne totale (MSE)<\/h3>\n
3.2 Cons\u00e9quences de l’omission de pr\u00e9dicteurs cruciaux<\/h3>\n