L’analyse statistique moderne au sein des sciences comportementales, cognitives et biom\u00e9dicales fait face \u00e0 un d\u00e9fi m\u00e9thodologique omnipr\u00e9sent : la prolif\u00e9ration de variables explicatives fortement interd\u00e9pendantes. Lorsqu’un chercheur tente de mod\u00e9liser un ph\u00e9nom\u00e8ne psychologique complexe, tel que l’efficience cognitive, la r\u00e9gulation \u00e9motionnelle ou la s\u00e9v\u00e9rit\u00e9 d’un trouble psychiatrique, le r\u00e9flexe analytique conventionnel consiste \u00e0 d\u00e9ployer une r\u00e9gression lin\u00e9aire multiple estim\u00e9e par la m\u00e9thode des moindres carr\u00e9s ordinaires. Cependant, cette approche classique repose sur des hypoth\u00e8ses alg\u00e9briques et g\u00e9om\u00e9triques strictes, au premier rang desquelles figure l’absence de colin\u00e9arit\u00e9 parfaite ou quasi-parfaite entre les r\u00e9gresseurs. Lorsque les pr\u00e9dicteurs partagent une part substantielle de leur variance, l’estimation des param\u00e8tres devient math\u00e9matiquement instable, provoquant une explosion de l’incertitude d’\u00e9chantillonnage et vidant les tests d’hypoth\u00e8ses de leur puissance statistique.<\/p>\n
Face \u00e0 cet \u00e9cueil fondamental, connu sous le nom de multicollin\u00e9arit\u00e9, l’\u00e9conom\u00e9trie et la chimiom\u00e9trie ont d\u00e9velopp\u00e9 des strat\u00e9gies de contournement novatrices qui ont progressivement conquis la psychologie quantitative. Parmi celles-ci, la r\u00e9gression sur composantes principales (souvent d\u00e9sign\u00e9e par l’acronyme anglophone PCR pour Principal Component Regression<\/em><\/a>) occupe une place pivotale. Combinant la puissance de synth\u00e8se g\u00e9om\u00e9trique de l’analyse en composantes principales<\/a> et la rigueur de la mod\u00e9lisation lin\u00e9aire, la PCR propose une reparam\u00e9trisation int\u00e9grale de l’espace des covariables. En projetant les variables pr\u00e9dictives originales sur un ensemble de dimensions orthogonales non corr\u00e9l\u00e9es avant d’ajuster le mod\u00e8le de r\u00e9gression, elle permet de purger le syst\u00e8me matriciel de toute redondance d\u00e9g\u00e9n\u00e9rative tout en pr\u00e9servant l’information structurelle globale contenue dans les donn\u00e9es.<\/p>\n Le pr\u00e9sent article propose une exploration approfondie, math\u00e9matique, conceptuelle et appliqu\u00e9e de la r\u00e9gression sur composantes principales. Con\u00e7u sp\u00e9cifiquement pour les chercheurs, statisticiens et praticiens des sciences humaines confront\u00e9s \u00e0 des architectures de donn\u00e9es denses et corr\u00e9l\u00e9es, ce guide d\u00e9taille l’ensemble du cycle de mod\u00e9lisation : des fondements alg\u00e9briques de la d\u00e9composition spectrale jusqu’aux arbitrages fins du compromis biais-variance, en passant par les protocoles de validation crois\u00e9e, les comparaisons critiques avec les m\u00e9thodes concurrentes (Ridge, Lasso, Moindres Carr\u00e9s Partiels) et les r\u00e8gles de restitution formelle selon les standards acad\u00e9miques contemporains.<\/p>\n D’un point de vue strictement alg\u00e9brique, la multicollin\u00e9arit\u00e9 survient au sein d’un mod\u00e8le lin\u00e9aire lorsque deux ou plusieurs colonnes de la matrice des r\u00e9gresseurs pr\u00e9sentent une d\u00e9pendance lin\u00e9aire exacte ou approch\u00e9e. Consid\u00e9rons le mod\u00e8le lin\u00e9aire classique exprim\u00e9 sous sa forme matricielle compacte :<\/p>\n Y = X\u03b2 + \u03b5<\/em><\/p>\n o\u00f9 Y<\/em> est un vecteur de dimension (n \u00d7 1)<\/em> repr\u00e9sentant la variable r\u00e9ponse, X<\/em> est une matrice de dessein de dimension (n \u00d7 p)<\/em> contenant les observations de p<\/em> covariables pour n<\/em> sujets, \u03b2<\/em> est le vecteur (p \u00d7 1)<\/em> des coefficients de r\u00e9gression inconnus, et \u03b5<\/em> est le vecteur des perturbations stochastiques non corr\u00e9l\u00e9es, d’esp\u00e9rance nulle et de matrice de covariance scalaire \u03c3\u00b2I<\/em>. La condition n\u00e9cessaire \u00e0 l’estimation sans ambigu\u00eft\u00e9 du vecteur \u03b2<\/em> par les moindres carr\u00e9s ordinaires r\u00e9side dans le rang plein de la matrice X<\/em>, c’est-\u00e0-dire que le rang de X<\/em> doit \u00eatre \u00e9gal \u00e0 p<\/em> (en supposant que le nombre d’observations n<\/em> exc\u00e8de le nombre de variables p<\/em>).<\/p>\n Lorsque cette condition est viol\u00e9e de mani\u00e8re absolue, une ou plusieurs variables s’expriment comme une combinaison lin\u00e9aire exacte des autres. Dans cette configuration singuli\u00e8re, le d\u00e9terminant de la matrice d’information (X\u1d40X)<\/em> s’annule rigoureusement, rendant son inversion impossible et privant le syst\u00e8me d’une solution unique. N\u00e9anmoins, dans la pratique empirique des sciences humaines, la colin\u00e9arit\u00e9 stricte demeure rare en dehors d’erreurs de codage manifeste. La menace pr\u00e9pond\u00e9rante r\u00e9side dans la multicollin\u00e9arit\u00e9 quasi-stricte : les covariables ne sont pas parfaitement d\u00e9pendantes au sens alg\u00e9brique, mais manifestent des coefficients de corr\u00e9lation bivari\u00e9s ou multivari\u00e9s extr\u00eamement \u00e9lev\u00e9s. La matrice (X\u1d40X)<\/em> devient alors quasi-singuli\u00e8re, son d\u00e9terminant fr\u00f4le z\u00e9ro, et ses valeurs propres les plus faibles s’effondrent vers des grandeurs infinit\u00e9simales.<\/p>\n Pour quantifier et diagnostiquer ce ph\u00e9nom\u00e8ne insidieux, les m\u00e9thodologistes s’appuient sur deux instruments m\u00e9trologiques pr\u00e9dominants : le facteur d’inflation de la variance (VIF, pour Variance Inflation Factor<\/em><\/a>) et l’indice de conditionnement matriciel. Pour une covariable j<\/em> donn\u00e9e, le VIF se formalise ainsi :<\/p>\n VIF\u2c7c = 1 \/ (1 – R\u2c7c\u00b2)<\/em><\/p>\n o\u00f9 R\u2c7c\u00b2<\/em> repr\u00e9sente le coefficient de d\u00e9termination issu de la r\u00e9gression de la variable X\u2c7c<\/em> sur l’ensemble des p – 1<\/em> autres pr\u00e9dicteurs du mod\u00e8le. Un VIF exc\u00e9dant des seuils heuristiques conventionnels tels que 5 ou 10 signale une contamination critique de l’espace vectoriel, traduisant qu’au moins 80 % \u00e0 90 % de la variance de la variable consid\u00e9r\u00e9e est redondante avec le reste de la batterie de pr\u00e9dicteurs. Parall\u00e8lement, l’indice de conditionnement de la matrice X<\/em>, calcul\u00e9 comme le rapport entre la valeur singuli\u00e8re maximale et chaque valeur singuli\u00e8re individuelle, permet de r\u00e9v\u00e9ler des colin\u00e9arit\u00e9s complexes impliquant des combinaisons lin\u00e9aires de plusieurs variables. Des indices sup\u00e9rieurs \u00e0 30 indiquent une instabilit\u00e9 num\u00e9rique s\u00e9v\u00e8re de l’inverse de la matrice de covariance empirique, mena\u00e7ant la validit\u00e9 des inf\u00e9rences statistiques ult\u00e9rieures.<\/p>\n L’estimateur des moindres carr\u00e9s ordinaires (MCO), dont la formulation canonique est donn\u00e9e par l’\u00e9quation \u03b2\u0302 = (X\u1d40X)\u207b\u00b9X\u1d40Y<\/em>, jouit selon le th\u00e9or\u00e8me de Gauss-Markov<\/a> de propri\u00e9t\u00e9s optimales de convergence : il s’agit du meilleur estimateur lin\u00e9aire non biais\u00e9 (BLUE). Cependant, ce th\u00e9or\u00e8me garantit une variance minimale uniquement au sein de la classe restreinte des estimateurs strictement impartiaux, sans pr\u00e9juger de la grandeur absolue de cette variance. En pr\u00e9sence d’une forte multicollin\u00e9arit\u00e9, l’inversion de la matrice quasi-singuli\u00e8re (X\u1d40X)<\/em> induit une dilatation ph\u00e9nom\u00e9nale des \u00e9l\u00e9ments diagonaux de la matrice de covariance de l’estimateur :<\/p>\n Var(\u03b2\u0302) = \u03c3\u00b2 (X\u1d40X)\u207b\u00b9<\/em><\/p>\n Chaque terme diagonal de cette matrice correspond \u00e0 la variance d’\u00e9chantillonnage du coefficient associ\u00e9. Sous l’effet du VIF, cette variance est litt\u00e9ralement multipli\u00e9e par un facteur d’amplification disproportionn\u00e9 :<\/p>\n Var(\u03b2\u0302\u2c7c) = (\u03c3\u00b2 \/ [(n – 1) s\u2c7c\u00b2]) \u00d7 VIF\u2c7c<\/em><\/p>\n o\u00f9 s\u2c7c\u00b2<\/em> est la variance d’\u00e9chantillonnage de la variable X\u2c7c<\/em>. L’erreur-type des estimateurs cro\u00eet alors de mani\u00e8re vertigineuse, traduisant une impr\u00e9cision extr\u00eame quant \u00e0 la v\u00e9ritable trajectoire du param\u00e8tre populationnel.<\/p>\n Cette inflation de la variance g\u00e9n\u00e8re des distorsions empiriques majeures. Premi\u00e8rement, les coefficients de r\u00e9gression deviennent hypersensibles aux perturbations stochastiques minimes des donn\u00e9es : l’ajout, le retrait ou la l\u00e9g\u00e8re modification de quelques observations au sein de l’\u00e9chantillon peut provoquer des oscillations drastiques de l’amplitude des estimations, allant fr\u00e9quemment jusqu’\u00e0 des inversions arbitraires de signes math\u00e9matiques. Un pr\u00e9dicteur notoirement connu dans la litt\u00e9rature clinique pour son association positive avec une pathologie peut subitement h\u00e9riter d’un coefficient n\u00e9gatif hautement contre-intuitif au sein du mod\u00e8le ajust\u00e9, simplement en raison de sa redondance avec un pr\u00e9dicteur corollaire.<\/p>\n Deuxi\u00e8mement, cette situation entra\u00eene un effondrement dramatique du pouvoir statistique des tests d’hypoth\u00e8ses individuels. La statistique de Student associ\u00e9e \u00e0 l’hypoth\u00e8se nulle H\u2080: \u03b2\u2c7c = 0<\/em>, calcul\u00e9e par le ratio t = \u03b2\u0302\u2c7c \/ SE(\u03b2\u0302\u2c7c)<\/em>, est m\u00e9caniquement \u00e9cras\u00e9e par la croissance d\u00e9mesur\u00e9e de l’erreur-type SE(\u03b2\u0302\u2c7c)<\/em> figurant au d\u00e9nominateur. Les p<\/em>-valeurs associ\u00e9es s’envolent au-del\u00e0 des seuils de significativit\u00e9 conventionnels (\u03b1 = 0,05 ou 0,01). Le chercheur se retrouve alors confront\u00e9 \u00e0 un paradoxe classique de la mod\u00e9lisation statistique : le test global de Fisher rejette massivement l’hypoth\u00e8se nulle conjointe, affichant un R\u00b2<\/em> global remarquablement \u00e9lev\u00e9, tandis qu’aucun des pr\u00e9dicteurs individuels ne parvient \u00e0 atteindre le seuil de significativit\u00e9 statistique. Ce pi\u00e8ge m\u00e9thodologique conduit r\u00e9guli\u00e8rement \u00e0 l’abandon erron\u00e9 de variables pourtant th\u00e9oriquement fondamentales.<\/p>\n Si la multicollin\u00e9arit\u00e9 constitue une anomalie math\u00e9matique au regard de la g\u00e9om\u00e9trie euclidienne id\u00e9ale des MCO, elle repr\u00e9sente la norme structurelle in\u00e9vitable au sein des disciplines \u00e9tudiant le comportement humain, la cognition et la personnalit\u00e9. Cette vuln\u00e9rabilit\u00e9 singuli\u00e8re de la recherche psychologique et comportementale d\u00e9coule directement de la nature ontologique des objets qu’elle manipule : les construits latents non observables directement. Contrairement aux grandeurs physiques fondamentales (masse, longueur, temp\u00e9rature), les attributs psychologiques tels que l’anxi\u00e9t\u00e9 \u00e9tat, la d\u00e9pression majeure, l’intelligence fluide ou le n\u00e9vrosisme ne peuvent \u00eatre capt\u00e9s que par l’interm\u00e9diaire de comportements manifestes imparfaits et d’indicateurs composites.<\/p>\n Il existe un chevauchement conceptuel et nosologique substantiel entre ces dimensions psychiques. Par exemple, au sein des nosographies cliniques contemporaines, la symptomatologie de l’anxi\u00e9t\u00e9 g\u00e9n\u00e9ralis\u00e9e partage des crit\u00e8res diagnostiques intriqu\u00e9s avec les \u00e9pisodes d\u00e9pressifs majeurs, tels que l’asth\u00e9nie, les perturbations de la concentration, l’insomnie et l’agitation psychomotrice. Lorsqu’un protocole int\u00e8gre simultan\u00e9ment des \u00e9chelles de mesure pour ces deux entit\u00e9s (comme le Beck Depression Inventory et le State-Trait Anxiety Inventory), la matrice des pr\u00e9dicteurs enregistre in\u00e9vitablement des corr\u00e9lations bivari\u00e9es oscillant fr\u00e9quemment entre 0,70 et 0,85. De mani\u00e8re analogue, les taxonomies diff\u00e9rentielles de la personnalit\u00e9, \u00e0 l’instar du mod\u00e8le des Big Five ou du mod\u00e8le HEXACO, reposent sur des facettes qui, bien que th\u00e9oriquement dissociables, pr\u00e9sentent des covarations empiriques syst\u00e9matiques imputables \u00e0 des facteurs d’ordre sup\u00e9rieur ou \u00e0 un facteur g\u00e9n\u00e9ral de personnalit\u00e9 (General Factor of Personality<\/em>).<\/p>\n Cette multicollin\u00e9arit\u00e9 structurelle est encore d\u00e9cupl\u00e9e par les caract\u00e9ristiques intrins\u00e8ques des batteries d’\u00e9valuation psychom\u00e9trique multidimensionnelles. Afin de maximiser la fid\u00e9lit\u00e9 de consistance interne (estim\u00e9e par le coefficient alpha de Cronbach ou l’om\u00e9ga de McDonald), les concepteurs de questionnaires multiplient d\u00e9lib\u00e9r\u00e9ment les items mesurant des facettes extr\u00eamement resserr\u00e9es d’une m\u00eame comp\u00e9tence cognitive ou d’un m\u00eame sch\u00e9ma cognitivo-affectif. L’agr\u00e9gation de ces scores, de m\u00eame que le recueil de donn\u00e9es comportementales issues de protocoles informatis\u00e9s r\u00e9p\u00e9t\u00e9s (temps de r\u00e9action, taux d’erreurs en t\u00e2ches d’inhibition ex\u00e9cutive de type Stroop ou Flanker), injecte dans les mod\u00e8les de r\u00e9gression des variables dont l’interd\u00e9pendance confine \u00e0 la quasi-redondance absolue. Appliquer les moindres carr\u00e9s ordinaires sans ajustement pr\u00e9alable sur de tels jeux de donn\u00e9es expose invariablement les chercheurs \u00e0 des art\u00e9facts d’estimation et \u00e0 des interpr\u00e9tations causales fallacieuses.<\/p>\n Face au p\u00e9ril de la multicollin\u00e9arit\u00e9, la r\u00e9action historique la plus intuitive consiste \u00e0 purger le mod\u00e8le d’une partie de ses r\u00e9gresseurs en s\u00e9lectionnant un sous-ensemble parcimonieux de variables jug\u00e9es fondamentales. La strat\u00e9gie th\u00e9orique id\u00e9ale repose sur la s\u00e9lection exhaustive de tous les sous-ensembles possibles (best subset selection<\/em>). Pour un ensemble de p<\/em> pr\u00e9dicteurs, cette approche implique l’ajustement syst\u00e9matique de l’ensemble des 2\u1d56<\/em> combinaisons possibles de variables et leur comparaison via des crit\u00e8res d’information p\u00e9nalisant la complexit\u00e9, tels que le crit\u00e8re d’Akaike (AIC<\/a>) ou le crit\u00e8re d’information bay\u00e9sien (BIC). Si cette proc\u00e9dure offre des garanties th\u00e9oriques robustes d’optimalit\u00e9 globale au regard de la m\u00e9trique choisie, elle devient rigoureusement impraticable sur le plan computationnel d\u00e8s lors que p<\/em> d\u00e9passe quelques dizaines de variables, en raison de l’explosion combinatoire exponentielle.<\/p>\n Pour contourner ce verrou algorithmique, la pratique quantitative s’est massivement rabattue sur les proc\u00e9dures s\u00e9quentielles pas \u00e0 pas (stepwise selection<\/em>), d\u00e9clin\u00e9es en s\u00e9lection progressive ascendante (forward selection<\/em>) et \u00e9limination descendante (backward elimination<\/em>). La s\u00e9lection forward<\/em> d\u00e9bute avec un mod\u00e8le sans aucun pr\u00e9dicteur (mod\u00e8le nul) et int\u00e8gre it\u00e9rativement la variable qui procure le gain explicatif le plus substantiel selon un seuil pr\u00e9\u00e9tabli de la statistique F<\/em> ou de la r\u00e9duction du crit\u00e8re d’information. Inversement, l’\u00e9limination backward<\/em> initialise le processus avec le mod\u00e8le satur\u00e9 contenant l’int\u00e9gralit\u00e9 des p<\/em> covariables, puis retranche s\u00e9quentiellement la variable la moins contributive jusqu’\u00e0 atteindre un crit\u00e8re d’arr\u00eat. Les algorithmes mixtes combinent ces deux mouvements, r\u00e9\u00e9valuant \u00e0 chaque it\u00e9ration la pertinence de conserver ou d’exclure les pr\u00e9dicteurs d\u00e9j\u00e0 incorpor\u00e9s.<\/p>\n En d\u00e9pit de leur popularit\u00e9 historique aupr\u00e8s des utilisateurs de progiciels statistiques grand public, ces techniques de s\u00e9lection s\u00e9quentielle souffrent de tares m\u00e9thodologiques r\u00e9dhibitoires document\u00e9es de longue date par les statisticiens th\u00e9oriciens. En premier lieu, ces m\u00e9thodes proc\u00e8dent par discr\u00e9tisation brutale : le statut d’une variable passe de mani\u00e8re discontinue de z\u00e9ro (exclusion totale) \u00e0 une inclusion non p\u00e9nalis\u00e9e, ce qui g\u00e9n\u00e8re une instabilit\u00e9 d’\u00e9chantillonnage aigu\u00eb. Une infime fluctuation al\u00e9atoire au sein des donn\u00e9es peut modifier l’ordre d’entr\u00e9e des variables, conduisant \u00e0 la s\u00e9lection de sous-ensembles radicalement divergents \u00e0 partir d’\u00e9chantillons issus de la m\u00eame population parente. En second lieu, les tests statistiques conduits au fil des \u00e9tapes successives violent les postulats de la th\u00e9orie classique des probabilit\u00e9s : les valeurs critiques de Student ou de Fisher ne sont pas ajust\u00e9es pour tenir compte de la multiplicit\u00e9 des comparaisons opportunistes pr\u00e9alables, provoquant une inflation catastrophique du taux d’erreur de type I et produisant des p<\/em>-valeurs artificiellement optimistes d\u00e9nu\u00e9es de validit\u00e9 confirmatrice.<\/p>\n Pour surmonter les limites structurelles des s\u00e9lections discr\u00e8tes, la statistique contemporaine a \u00e9labor\u00e9 la famille des m\u00e9thodes de r\u00e9gularisation continue, souvent d\u00e9sign\u00e9es sous le terme de r\u00e9gression p\u00e9nalis\u00e9e. L’architecture fondamentale de ces approches consiste \u00e0 modifier la fonction de co\u00fbt des moindres carr\u00e9s ordinaires en lui adjoignant un terme de p\u00e9nalit\u00e9 math\u00e9matique proportionnel \u00e0 la magnitude des coefficients de r\u00e9gression. Cette contrainte force le processus d’optimisation \u00e0 op\u00e9rer un r\u00e9tr\u00e9cissement contr\u00f4l\u00e9 (shrinkage<\/em>) des param\u00e8tres vers la valeur z\u00e9ro, temp\u00e9rant drastiquement leur variance d’\u00e9chantillonnage au prix de l’injection d\u00e9lib\u00e9r\u00e9e d’un biais asymptotiquement contr\u00f4l\u00e9.<\/p>\n La premi\u00e8re r\u00e9ponse historique formalis\u00e9e dans cette cat\u00e9gorie est la r\u00e9gression Ridge<\/a>, introduite par Hoerl et Kennard. La fonction objectif de Ridge minimise la somme des carr\u00e9s des r\u00e9sidus sous une contrainte de norme quadratique euclidienne L\u2082<\/em> :<\/p>\n S_{Ridge}(\u03b2) = ||Y – X\u03b2||\u2082\u00b2 + \u03bb ||\u03b2||\u2082\u00b2 = \u2211\u1d62 (y\u1d62 – x\u1d62\u1d40\u03b2)\u00b2 + \u03bb \u2211\u2c7c \u03b2\u2c7c\u00b2<\/em><\/p>\n o\u00f9 \u03bb \u2265 0<\/em> est un hyperparam\u00e8tre de r\u00e9gularisation qui gouverne l’intensit\u00e9 de la p\u00e9nalit\u00e9. D’un point de vue matriciel, la r\u00e9solution analytique de ce probl\u00e8me d’optimisation convexe modifie directement la matrice d’information en lui ajoutant une constante positive sur sa diagonale principale :<\/p>\n \u03b2\u0302_{Ridge} = (X\u1d40X + \u03bbI)\u207b\u00b9 X\u1d40Y<\/em><\/p>\n Cette op\u00e9ration \u00e9limine de fa\u00e7on garantie la singularit\u00e9 matricielle : m\u00eame si (X\u1d40X)<\/em> poss\u00e8de des valeurs propres nulles ou quasi-nulles, la matrice (X\u1d40X + \u03bbI)<\/em> devient strictement inversible, stabilisant l’int\u00e9gralit\u00e9 des erreurs-types et circonscrivant l’amplitude des estimations.<\/p>\n Une alternative majeure r\u00e9side dans la r\u00e9gression Lasso (Least Absolute Shrinkage and Selection Operator<\/em>), d\u00e9velopp\u00e9e par Robert Tibshirani. Le Lasso remplace la contrainte quadratique L\u2082<\/em> par une contrainte de norme absolue L\u2081<\/em> :<\/p>\n S_{Lasso}(\u03b2) = ||Y – X\u03b2||\u2082\u00b2 + \u03bb ||\u03b2||\u2081 = \u2211\u1d62 (y\u1d62 – x\u1d62\u1d40\u03b2)\u00b2 + \u03bb \u2211\u2c7c |\u03b2\u2c7c|<\/em><\/p>\n Sur le plan g\u00e9om\u00e9trique, l’espace des contraintes d\u00e9fini par la norme L\u2081<\/em> pr\u00e9sente une forme poly\u00e9drique dot\u00e9e de sommets pointus situ\u00e9s sur les axes de coordonn\u00e9es. En cons\u00e9quence, les contours elliptiques de la fonction de co\u00fbt quadratique entrent fr\u00e9quemment en contact avec l’espace de contrainte au niveau de ces sommets, annulant rigoureusement certains coefficients de r\u00e9gression d\u00e8s que la valeur de \u03bb<\/em> s’\u00e9l\u00e8ve. Le Lasso r\u00e9alise ainsi simultan\u00e9ment un r\u00e9tr\u00e9cissement continu des grandeurs et une s\u00e9lection parcimonieuse intrins\u00e8que des covariables. Des variantes hybrides, telles que l’Elastic Net, combinent simultan\u00e9ment les p\u00e9nalit\u00e9s L\u2081<\/em> et L\u2082<\/em> pour h\u00e9riter des b\u00e9n\u00e9fices conjoints de s\u00e9lection de variables et de regroupement des pr\u00e9dicteurs fortement colin\u00e9aires.<\/p>\n Bien que math\u00e9matiquement sophistiqu\u00e9es et incontestablement efficaces dans les contextes de pr\u00e9diction pure (tels que la bio-informatique g\u00e9nomique ou l’apprentissage automatique pr\u00e9dictif), la s\u00e9lection de variables et les r\u00e9gressions p\u00e9nalis\u00e9es de type Lasso soul\u00e8vent de profondes interrogations \u00e9pist\u00e9mologiques lorsqu’elles sont transpos\u00e9es sans pr\u00e9caution \u00e0 la psychologie quantitative et aux neurosciences cognitives. Le premier \u00e9cueil r\u00e9side dans l’\u00e9limination discr\u00e8te d’items ou de sous-\u00e9chelles psychom\u00e9triques. Dans le cadre de l’\u00e9valuation d’un syndrome complexe, chaque variable observ\u00e9e repr\u00e9sente une tentative de capturer une facette singuli\u00e8re du spectre psychopathologique. Forcer arbitrairement un coefficient \u00e0 z\u00e9ro sous pr\u00e9texte qu’il partage 75 % de variance avec une variable concurrente \u00e9quivaut \u00e0 amputer le mod\u00e8le d’une composante d’information clinique valide, risquant de biaiser r\u00e9trospectivement la d\u00e9finition th\u00e9orique du construit investigu\u00e9.<\/p>\n De surcro\u00eet, le comportement du Lasso en pr\u00e9sence de groupes de variables pr\u00e9sentant une colin\u00e9arit\u00e9 extr\u00eame est hautement probl\u00e9matique sur le plan conceptuel : confront\u00e9 \u00e0 un ensemble de cinq indicateurs psychom\u00e9triques fortement intercorr\u00e9l\u00e9s mesurant l’anh\u00e9donie, le Lasso a tendance \u00e0 s\u00e9lectionner une seule variable de mani\u00e8re stochastique parmi le groupe et \u00e0 \u00e9craser les quatre autres \u00e0 z\u00e9ro, ind\u00e9pendamment de leur pertinence clinique intrins\u00e8que. Ce m\u00e9canisme aveugle brise la structure holistique des batteries d’\u00e9valuation et d\u00e9route les cliniciens qui s’appuient sur la convergence synergique de multiples manifestations symptomatiques.<\/p>\n Enfin, la recherche comportementale contemporaine conceptualise de plus en plus les fonctions ex\u00e9cutives, les dimensions de la personnalit\u00e9 et les r\u00e9seaux psychopathologiques non pas comme des entit\u00e9s isolables gouvern\u00e9es par un principe de parcimonie atomistique, mais comme des syst\u00e8mes denses et dynamiques d’interd\u00e9pendances mutuelles. Face \u00e0 cette r\u00e9alit\u00e9 \u00e9pist\u00e9mologique, chercher \u00e0 forcer un mod\u00e8le vers un petit nombre d’\u00e9l\u00e9ments ind\u00e9pendants rel\u00e8ve d’une simplification r\u00e9ductrice. Il appara\u00eet d\u00e8s lors imp\u00e9ratif de disposer d’une alternative m\u00e9thodologique globale capable d’int\u00e9grer l’int\u00e9gralit\u00e9 de l’espace vectoriel des pr\u00e9dicteurs, sans en sacrifier aucun, tout en neutralisant rigoureusement les instabilit\u00e9s num\u00e9riques induites par la multicollin\u00e9arit\u00e9. C’est pr\u00e9cis\u00e9ment l’ambition th\u00e9orique et math\u00e9matique port\u00e9e par la r\u00e9gression sur composantes principales.<\/p>\n Pour appr\u00e9hender le m\u00e9canisme de la r\u00e9gression sur composantes principales, il convient d’examiner au pr\u00e9alable les fondements de la r\u00e9duction de dimensionnalit\u00e9 par projection d’espace vectoriel. Dans un cadre analytique usuel, un \u00e9chantillon de n<\/em> individus mesur\u00e9s sur p<\/em> variables quantitatives s’inscrit au sein d’un espace euclidien r\u00e9el de dimension p<\/em>, not\u00e9 \u211d\u1d56. Chaque sujet correspond \u00e0 un point dans cet hyper-espace, dont les coordonn\u00e9es sont dict\u00e9es par le vecteur ligne x\u1d62\u1d40<\/em> de la matrice de donn\u00e9es. Lorsque les p<\/em> pr\u00e9dicteurs sont fortement corr\u00e9l\u00e9s, le nuage de points exp\u00e9rimental ne remplit pas de fa\u00e7on homog\u00e8ne l’espace \u00e0 p<\/em> dimensions : il a tendance \u00e0 s’\u00e9tirer et \u00e0 se condenser le long de sous-espaces lin\u00e9aires de dimensionnalit\u00e9 intrins\u00e8que beaucoup plus restreinte, prenant la forme d’un hyper-ellipso\u00efde aplati.<\/p>\n La r\u00e9duction de dimensionnalit\u00e9 consiste \u00e0 op\u00e9rer une transformation math\u00e9matique continue capable de projeter ce nuage d’observations depuis son espace initial \u211d\u1d56 vers un sous-espace vectoriel de dimension k<\/em>, avec k < p<\/em>, tout en pr\u00e9servant le maximum de structure topologique et g\u00e9om\u00e9trique d’origine. Cette compression d’information repose sur le principe de conservation de l’inertie globale : il s’agit de trouver un syst\u00e8me de projection orthogonale qui minimise la somme des carr\u00e9s des distances de projection euclidiennes entre les points r\u00e9els et leurs repr\u00e9sentations projet\u00e9es dans le sous-espace de substitution. Sur le plan matriciel, cela \u00e9quivaut \u00e0 substituer \u00e0 la matrice de rang plein X<\/em> une matrice approximante de rang k<\/em> qui capture l’essentiel de la dispersion spatiale originelle, rel\u00e9guant la variance r\u00e9siduelle non projet\u00e9e au statut de fluctuations al\u00e9atoires ou de bruit exp\u00e9rimental n\u00e9gligeable.<\/p>\n L’Analyse en Composantes Principales (ACP)<\/a>, conceptualis\u00e9e par Karl Pearson en 1901 et d\u00e9velopp\u00e9e ind\u00e9pendamment par Harold Hotelling dans les ann\u00e9es 1930, formalise math\u00e9matiquement cette op\u00e9ration de compression sous la forme d’une transformation orthogonale rigoureuse. L’objectif alg\u00e9brique central de l’ACP est d’effectuer une rotation rigide du rep\u00e8re de coordonn\u00e9es cart\u00e9siennes originel de mani\u00e8re \u00e0 ce que les nouveaux axes vectoriels co\u00efncident parfaitement avec les directions d’\u00e9longation et de dispersion maximale du nuage de donn\u00e9es.<\/p>\n La premi\u00e8re composante principale est d\u00e9finie par un vecteur unitaire v\u2081 \u2208 \u211d\u1d56<\/em> (tel que ||v\u2081|| = 1<\/em>) qui maximise la variance empirique de la projection des donn\u00e9es sur cette direction :<\/p>\n v\u2081 = argmax_{||v||=1} Var(Xv) = argmax_{||v||=1} (v\u1d40 X\u1d40X v \/ n)<\/em><\/p>\n Sous la contrainte de norme unitaire v\u1d40v = 1<\/em>, ce probl\u00e8me d’optimisation avec contrainte se r\u00e9sout \u00e9l\u00e9gamment par l’introduction d’un multiplicateur de Lagrange \u03bb<\/em>. En d\u00e9rivant la fonction lagrangienne associ\u00e9e, on aboutit directement \u00e0 l’\u00e9quation aux valeurs propres fondamentale :<\/p>\n \u03a3 v = \u03bb v<\/em><\/p>\n o\u00f9 \u03a3 = (1\/n) X\u1d40X<\/em> est la matrice de covariance empirique des pr\u00e9dicteurs (en supposant les colonnes pr\u00e9alablement centr\u00e9es). Le premier vecteur propre v\u2081<\/em> correspond \u00e0 la plus grande valeur propre \u03bb\u2081<\/em>, laquelle repr\u00e9sente pr\u00e9cis\u00e9ment la variance empirique du nuage projet\u00e9 sur ce nouvel axe.<\/p>\n Les composantes successives sont extraites de mani\u00e8re strictement analogue et ordonn\u00e9e : pour tout entier m<\/em> allant de 2 \u00e0 p<\/em>, le m<\/em>-i\u00e8me vecteur propre v\u2098<\/em> maximise la variance projet\u00e9e \u03bb\u2098<\/em> sous la double contrainte d’avoir une norme unitaire (v\u2098\u1d40 v\u2098 = 1<\/em>) et d’\u00eatre strictement orthogonal \u00e0 l’ensemble de tous les vecteurs propres pr\u00e9alablement d\u00e9termin\u00e9s (v\u2098\u1d40 v\u2c7c = 0<\/em> pour tout j < m<\/em>). Cette contrainte d’orthogonalit\u00e9 mutuelle garantit que les axes factoriels r\u00e9sultants d\u00e9crivent des dimensions d’information parfaitement d\u00e9corr\u00e9l\u00e9es les unes des autres. L’ACP r\u00e9alise ainsi une diagonalisation int\u00e9grale de la matrice de covariance empirique, m\u00e9tamorphosant un syst\u00e8me de coordonn\u00e9es interd\u00e9pendantes en un jeu de descripteurs mutuellement ind\u00e9pendants sur le plan lin\u00e9aire.<\/p>\n Avant d’articuler l’ACP avec l’estimation d’un mod\u00e8le de r\u00e9gression, il est fondamental de clarifier le statut \u00e9pist\u00e9mologique de cette transformation spatiale. L’analyse en composantes principales est une technique d’apprentissage non supervis\u00e9<\/a>. Cela signifie que l’extraction des vecteurs propres et le calcul des scores factoriels s’op\u00e8rent de mani\u00e8re enti\u00e8rement aveugle \u00e0 toute information ext\u00e9rieure au bloc de covariables X<\/em>. En particulier, la variable r\u00e9ponse d\u00e9pendante Y<\/em>, celle-l\u00e0 m\u00eame que le chercheur ambitionne d’expliquer ou de pr\u00e9dire, ne joue rigoureusement aucun r\u00f4le dans la d\u00e9termination des axes de projection.<\/p>\n Cette non-supervision distingue fondamentalement l’ACP des mod\u00e8les explicatifs psychom\u00e9triques, tels que l’analyse factorielle confirmatoire ou la mod\u00e9lisation par \u00e9quations structurelles, dans lesquels les relations latentes sont orient\u00e9es par une matrice th\u00e9orique de causalit\u00e9 et de covariation cibl\u00e9e. L’ACP ne cherche pas \u00e0 d\u00e9voiler des construits ontologiques r\u00e9els mais constitue un op\u00e9rateur g\u00e9om\u00e9trique optimal de condensation de variance descriptive. La r\u00e9gression sur composantes principales proc\u00e8de pr\u00e9cis\u00e9ment d’un couplage s\u00e9quentiel novateur : elle applique dans un premier temps un traitement non supervis\u00e9 de compression et d’orthogonalisation de l’espace des descripteurs, pour d\u00e9ployer dans un second temps un ajustement supervis\u00e9 de la variable cible sur ce substrat factoriel purifi\u00e9 de toute colin\u00e9arit\u00e9.<\/p>\n1. Fondements et contexte math\u00e9matique du probl\u00e8me de multicollin\u00e9arit\u00e9<\/h2>\n
1.1 D\u00e9finition th\u00e9orique et manifestations de la multicollin\u00e9arit\u00e9<\/h3>\n
1.2 Impact statistique sur l’estimation des moindres carr\u00e9s ordinaires<\/h3>\n
1.3 Pr\u00e9valence des variables corr\u00e9l\u00e9es dans la recherche psychologique et comportementale<\/h3>\n
2. Panorama des approches conventionnelles face \u00e0 la multicollin\u00e9arit\u00e9<\/h2>\n
2.1 M\u00e9thodes de s\u00e9lection de sous-ensembles de pr\u00e9dicteurs<\/h3>\n
2.2 M\u00e9thodes de r\u00e9gularisation p\u00e9nalis\u00e9e<\/h3>\n
2.3 Limites m\u00e9thodologiques des approches classiques en psychologie quantitative<\/h3>\n
3. Principes fondamentaux de la r\u00e9duction de dimensionnalit\u00e9<\/h2>\n
3.1 Concept de projection d’espace vectoriel et compression d’information<\/h3>\n
3.2 Analyse en composantes principales comme transformation orthogonale<\/h3>\n
3.3 Diff\u00e9rence conceptuelle entre r\u00e9duction non supervis\u00e9e et mod\u00e9lisation pr\u00e9dictive<\/h3>\n
4. Th\u00e9orie math\u00e9matique de la r\u00e9gression sur composantes principales<\/h2>\n
4.1 D\u00e9composition spectrale et d\u00e9composition en valeurs singuli\u00e8res<\/h3>\n