{"id":5186,"date":"2026-09-11T17:44:16","date_gmt":"2026-09-11T17:44:16","guid":{"rendered":"http:\/\/french.arabpsychology.com\/statistics\/introduction-moindres-carres-partiels\/"},"modified":"2026-09-11T17:44:16","modified_gmt":"2026-09-11T17:44:16","slug":"introduction-moindres-carres-partiels","status":"publish","type":"psych_stat","link":"https:\/\/french.arabpsychology.com\/?psych_stat=introduction-moindres-carres-partiels","title":{"rendered":"Une introduction aux moindres carr\u00e9s partiels"},"content":{"rendered":"

L’histoire de l’analyse statistique en sciences quantitatives est marqu\u00e9e par une tension permanente entre la complexit\u00e9 intrins\u00e8que des ph\u00e9nom\u00e8nes observ\u00e9s et la rigidit\u00e9 math\u00e9matique des mod\u00e8les lin\u00e9aires classiques. Durant des d\u00e9cennies, la recherche s’est appuy\u00e9e presque exclusivement sur l’estimateur des moindres carr\u00e9s ordinaires<\/a> pour mod\u00e9liser les relations de d\u00e9pendance entre variables. N\u00e9anmoins, l’\u00e9mergence contemporaine de devis de recherche massifs, qu’il s’agisse de batteries de questionnaires psychom\u00e9triques intriqu\u00e9s, de profils g\u00e9nomiques ou de cartographies d’imagerie c\u00e9r\u00e9brale, a mis en lumi\u00e8re une limitation fondamentale des approches traditionnelles : la vuln\u00e9rabilit\u00e9 extr\u00eame face \u00e0 la multicollin\u00e9arit\u00e9 et \u00e0 l’inflation dimensionnelle, souvent r\u00e9sum\u00e9e par le fl\u00e9au de la dimension o\u00f9 le nombre de pr\u00e9dicteurs approche, voire d\u00e9passe, le nombre d’observations disponibles.<\/p>\n

Dans ce paysage m\u00e9thodologique en mutation, la m\u00e9thode des moindres carr\u00e9s partiels, plus universellement d\u00e9sign\u00e9e sous l’acronyme PLS<\/em> (pour Partial Least Squares<\/em>), s’est impos\u00e9e comme une alternative paradigmatique d’une puissance remarquable. Con\u00e7ue initialement pour r\u00e9pondre \u00e0 des impasses \u00e9conom\u00e9triques et chimiom\u00e9triques, la mod\u00e9lisation PLS op\u00e8re une synth\u00e8se \u00e9l\u00e9gante entre la r\u00e9gression lin\u00e9aire multiple et l’analyse factorielle exploratoire. Au lieu de contraindre l’analyste \u00e0 choisir entre l’abandon arbitraire de covariables fortement interd\u00e9pendantes ou la r\u00e9duction aveugle de dimensionnalit\u00e9, la r\u00e9gression PLS extrait des composantes latentes guid\u00e9es explicitement par la maximisation de la covariance avec les variables cibles. Cette architecture supervis\u00e9e permet de capturer la structure fondamentale du signal tout en rel\u00e9guant le bruit stochastique \u00e0 des dimensions r\u00e9siduelles orthogonales.<\/p>\n

Cet article propose une exploration rigoureuse et exhaustive de la m\u00e9thode des moindres carr\u00e9s partiels, depuis ses assises \u00e9pist\u00e9mologiques et son formalisme algorithmique jusqu’\u00e0 ses d\u00e9ploiements les plus pointus en mod\u00e9lisation par \u00e9quations structurelles et en sciences comportementales. Nous diss\u00e9querons les fondements th\u00e9oriques des algorithmes historiques et modernes, analyserons la m\u00e9canique math\u00e9matique de l’extraction de variance supervis\u00e9e, et fournirons aux chercheurs et praticiens les crit\u00e8res d’\u00e9valuation m\u00e9trologique et les protocoles d’impl\u00e9mentation logicielle indispensables \u00e0 l’exploitation int\u00e8gre de cette m\u00e9thode au sein de protocoles empiriques exigeants.<\/p>\n

1. Fondements et contexte historique des moindres carr\u00e9s partiels<\/h2>\n

1.1 Origine et gen\u00e8se de l’approche par Herman Wold<\/h3>\n

L’acte de naissance de la m\u00e9thodologie des moindres carr\u00e9s partiels remonte aux travaux s\u00e9minaux du statisticien et \u00e9conom\u00e8tre su\u00e9dois Herman Wold<\/a> durant les ann\u00e9es 1960 et 1970. Form\u00e9 \u00e0 l’\u00e9cole rigoureuse de l’analyse des s\u00e9ries temporelles et disciple de Harald Cram\u00e9r, Wold constatait avec une lucidit\u00e9 critique les limites des mod\u00e8les \u00e9conom\u00e9triques structurels dominants, principalement incarn\u00e9s par les approches bas\u00e9es sur l’estimation du maximum de vraisemblance d\u00e9velopp\u00e9es par la commission Cowles et formalis\u00e9es plus tard par Karl J\u00f6reskog dans le cadre de la mod\u00e9lisation par covariance (CB-SEM). Ces approches exigeaient des distributions gaussiennes multivari\u00e9es strictes, des tailles d’\u00e9chantillon consid\u00e9rables et une sp\u00e9cification th\u00e9orique pr\u00e9alable quasi-parfaite du r\u00e9seau de causalit\u00e9.<\/p>\n

Face \u00e0 ces contraintes souvent intenables dans l’\u00e9tude des syst\u00e8mes socio-\u00e9conomiques complexes, Herman Wold entreprit d’\u00e9laborer une philosophie alternative qu’il baptisa la \u00ab mod\u00e9lisation douce \u00bb (soft modeling<\/em>). L’objectif n’\u00e9tait plus de tester si une structure th\u00e9orique rigide reproduisait fid\u00e8lement la matrice de covariance empirique des donn\u00e9es, mais de proposer une heuristique d’ajustement pr\u00e9dictif robuste, capable d’op\u00e9rer sur des donn\u00e9es observationnelles entach\u00e9es d’erreurs de mesure et pr\u00e9sentant des distributions asym\u00e9triques. Le d\u00e9veloppement initial de l’algorithme NIPALS (Nonlinear Iterative Partial Least Squares<\/em>) constitua la pierre angulaire de cette d\u00e9marche, offrant un outil it\u00e9ratif fond\u00e9 sur des r\u00e9gressions lin\u00e9aires simples successives qui contournait la n\u00e9cessit\u00e9 d’inversions matricielles complexes et potentiellement singuli\u00e8res.<\/p>\n

D’un point de vue \u00e9pist\u00e9mologique, cette rupture conceptuelle d\u00e9pla\u00e7a le curseur de la confirmation dogmatique vers l’exploration pr\u00e9dictive et l’approximation empirique utile. Alors que la tradition j\u00f6reskogienne s’ancrait dans une perspective platonicienne o\u00f9 les variables latentes sont des entit\u00e9s transcendantes non observables dont les indicateurs ne sont que des reflets imparfaits (facteurs communs), l’approche de Wold s’affirmait comme r\u00e9solument pragmatique et instrumentaliste : les variables latentes y sont conceptualis\u00e9es comme des composites lin\u00e9aires explicites d’indicateurs observ\u00e9s, con\u00e7us sur mesure pour maximiser la capacit\u00e9 pr\u00e9dictive des relations fonctionnelles du syst\u00e8me \u00e9tudi\u00e9.<\/p>\n

1.2 D\u00e9finition conceptuelle de la r\u00e9gression PLS<\/h3>\n

La r\u00e9gression par les moindres carr\u00e9s partiels peut \u00eatre d\u00e9finie conceptuellement comme une technique de r\u00e9duction de dimensionnalit\u00e9 \u00e0 vis\u00e9e supervis\u00e9e. Contrairement aux m\u00e9thodes d’analyse factorielle ou de projection g\u00e9om\u00e9trique classiques telles que l’analyse en composantes principales (ACP), qui synth\u00e9tisent l’information contenue dans un bloc de variables explicatives sans \u00e9gard pour le crit\u00e8re \u00e0 pr\u00e9dire, la PLS fusionne intimement la r\u00e9duction dimensionnelle et l’estimation de r\u00e9gression au sein d’une seule et m\u00eame proc\u00e9dure d’optimisation. Le probl\u00e8me math\u00e9matique fondamental r\u00e9side dans l’identification d’une s\u00e9rie de composantes orthogonales \u2014 couramment nomm\u00e9es scores de variables latentes \u2014 qui soient \u00e0 la fois repr\u00e9sentatives de la variabilit\u00e9 interne de l’espace des pr\u00e9dicteurs et optimalement corr\u00e9l\u00e9es avec la ou les variables de r\u00e9ponse.<\/p>\n

Dans sa g\u00e9om\u00e9trie vectorielle, la PLS projette simultan\u00e9ment la matrice des variables ind\u00e9pendantes $X$<\/span> (de dimension $n \\times p$<\/span>) et la matrice des variables d\u00e9pendantes $Y$<\/span> (de dimension $n \\times q$<\/span>) sur des sous-espaces de dimension r\u00e9duite $k ll min(n, p)$<\/span>. Les composantes latentes extraites dans l’espace $X$<\/span>, not\u00e9es g\u00e9n\u00e9ralement $T$<\/span>, et celles extraites dans l’espace $Y$<\/span>, not\u00e9es $U$<\/span>, sont calcul\u00e9es de mani\u00e8re s\u00e9quentielle en contraignant la covariance entre chaque paire de scores $(t_a, u_a)$<\/span> \u00e0 \u00eatre maximale. Cette contrainte de maximisation conjointe garantit que les axes directionnels retenus dans l’espace des pr\u00e9dicteurs ne s’\u00e9garent pas dans l’explication d’une variance dominante mais d\u00e9nu\u00e9e de lien avec le ph\u00e9nom\u00e8ne d’int\u00e9r\u00eat, \u00e9cueil classique des approches non supervis\u00e9es.<\/p>\n

Il est capital d’op\u00e9rer une distinction nette entre les deux variantes fondamentales de la m\u00e9thode : la r\u00e9gression unidirectionnelle univari\u00e9e (couramment d\u00e9sign\u00e9e sous le terme de PLS1<\/em>), o\u00f9 le bloc de r\u00e9ponse est constitu\u00e9 d’une unique variable continue ($q = 1$<\/span>), et la r\u00e9gression multidirectionnelle multivari\u00e9e (PLS2<\/em>), qui mod\u00e9lise simultan\u00e9ment un bloc de plusieurs variables d\u00e9pendantes ($q > 1$<\/span>). Alors que la PLS1 se concentre sur l’orientation directionnelle optimale vers un vecteur cible unique, la PLS2 capture une structure latente partag\u00e9e au sein du bloc de r\u00e9ponse, permettant d’\u00e9tudier des ph\u00e9nom\u00e8nes co-d\u00e9pendants tout en tirant parti des synergies de corr\u00e9lation internes aux variables de sortie pour r\u00e9gulariser l’estimation globale du mod\u00e8le.<\/p>\n

1.3 Place de la m\u00e9thode PLS dans les sciences contemporaines<\/h3>\n

Bien que formalis\u00e9e par un \u00e9conom\u00e8tre, la m\u00e9thode PLS n’a pas trouv\u00e9 son premier champ d’\u00e9panouissement majeur au sein des sciences \u00e9conomiques, lesquelles demeur\u00e8rent longtemps attach\u00e9es au formalisme d\u00e9ductif du maximum de vraisemblance. C’est paradoxalement dans le champ de la chimiom\u00e9trie, sous l’impulsion d\u00e9cisive du fils d’Herman Wold, Svante Wold, et de chercheurs comme Harald Martens, que la PLS s’est transform\u00e9e en une r\u00e9volution analytique durant les d\u00e9cennies 1980 et 1990. Les chimiom\u00e8tres \u00e9taient confront\u00e9s aux donn\u00e9es spectroscopiques modernes (infrarouge, r\u00e9sonance magn\u00e9tique nucl\u00e9aire), caract\u00e9ris\u00e9es par des milliers de canaux spectraux continus hautement redondants mesur\u00e9s sur quelques dizaines d’\u00e9chantillons chimiques seulement. La r\u00e9gression PLS s’est r\u00e9v\u00e9l\u00e9e \u00eatre la r\u00e9ponse algorithmique parfaite \u00e0 ce type de configuration o\u00f9 $p gg n$<\/span>.<\/p>\n

Au tournant du XXIe si\u00e8cle, le succ\u00e8s foudroyant de la PLS en chimie analytique et en bio-informatique a d\u00e9clench\u00e9 un vaste ph\u00e9nom\u00e8ne de transfert m\u00e9thodologique vers les sciences humaines, la m\u00e9decine translationnelle et la psychologie quantitative. Les neurosciences cognitives<\/a>, en particulier, ont massivement adopt\u00e9 la PLS multivari\u00e9e pour relier les configurations d’activit\u00e9 c\u00e9r\u00e9brale globale, acquises via l’IRM fonctionnelle ou l’\u00e9lectroenc\u00e9phalographie dense, aux profils comportementaux et aux temps de r\u00e9action des participants. L’approche permet d’extraire des \u00ab modes d’interaction \u00bb spatio-temporels sans n\u00e9cessiter de corrections de tests multiples univari\u00e9s drastiques qui d\u00e9truisent la sensibilit\u00e9 statistique.<\/p>\n

Aujourd’hui, \u00e0 l’\u00e8re des donn\u00e9es massives comportementales, de la ph\u00e9notypisation num\u00e9rique par capteurs embarqu\u00e9s et des batteries de tests cognitifs distribu\u00e9es en ligne, la r\u00e9gression PLS et son extension structurelle occupent une place \u00e9pist\u00e9mologique strat\u00e9gique. Elles constituent le pont naturel entre la mod\u00e9lisation explicative traditionnelle, ax\u00e9e sur la significativit\u00e9 statistique de param\u00e8tres isol\u00e9s, et le machine learning<\/a> moderne, ax\u00e9 sur la performance de g\u00e9n\u00e9ralisation hors-\u00e9chantillon. La PLS conserve la lisibilit\u00e9 et l’interpr\u00e9tabilit\u00e9 g\u00e9om\u00e9trique des mod\u00e8les lin\u00e9aires tout en offrant la robustesse num\u00e9rique des algorithmes de r\u00e9gularisation les plus sophistiqu\u00e9s.<\/p>\n

2. Le d\u00e9fi de la multicollin\u00e9arit\u00e9 en mod\u00e9lisation statistique<\/h2>\n

2.1 Nature et cons\u00e9quences de la multicollin\u00e9arit\u00e9<\/h3>\n

La multicollin\u00e9arit\u00e9 d\u00e9signe, dans son acception math\u00e9matique la plus rigoureuse, l’existence de relations lin\u00e9aires exactes ou approximatives entre deux ou plusieurs variables explicatives au sein de la matrice de conception $X$<\/span>. Dans le formalisme classique de la r\u00e9gression lin\u00e9aire multiple par les moindres carr\u00e9s ordinaires, le vecteur des coefficients de r\u00e9gression estim\u00e9s $\\hat{\\beta}$<\/span> est formul\u00e9 de mani\u00e8re close par la c\u00e9l\u00e8bre \u00e9quation :<\/p>\n

$$\\hat{\\beta} = (X^T X)^{-1} X^T Y$$<\/span><\/p>\n

Pour que cet estimateur existe et soit unique, la matrice carr\u00e9e de produit crois\u00e9 $X^T X$<\/span>, de dimensions $p \\times p$<\/span>, doit \u00eatre strictement inversible, ce qui requiert que ses $p$<\/span> colonnes soient lin\u00e9airement ind\u00e9pendantes, assurant un rang plein \u00e9gal \u00e0 $p$<\/span>. Lorsque des covariables sont fortement corr\u00e9l\u00e9es entre elles, la matrice $X^T X$<\/span> approche la singularit\u00e9 : son d\u00e9terminant tend vers z\u00e9ro et son conditionnement num\u00e9rique explose vers l’infini.<\/p>\n

Cette quasi-singularit\u00e9 entra\u00eene des cons\u00e9quences d\u00e9sastreuses sur la stabilit\u00e9 computationnelle de l’inversion matricielle. Les valeurs propres minimales de $X^T X$<\/span> devenant infinit\u00e9simales, le calcul num\u00e9rique de l’inverse devient hypersensible aux moindres perturbations ou erreurs d’arrondi sur les donn\u00e9es brutes. Sur le plan statistique, le th\u00e9or\u00e8me de Gauss-Markov garantit que l’estimateur OLS reste sans biais, mais sa matrice de variance-covariance, donn\u00e9e par $\\sigma^2 (X^T X)^{-1}$<\/span>, subit une inflation exponentielle. La variance d’\u00e9chantillonnage des coefficients individuels cro\u00eet de mani\u00e8re vertigineuse, ce qui se traduit par des erreurs-types hypertrophi\u00e9es, des valeurs de $t$<\/span> de Student effondr\u00e9es et une incapacit\u00e9 quasi-totale \u00e0 rejeter l’hypoth\u00e8se nulle pour des pr\u00e9dicteurs qui exercent pourtant une influence r\u00e9elle sur le crit\u00e8re.<\/p>\n

2.2 Impact de la multicolin\u00e9arit\u00e9 sur les donn\u00e9es psychologiques<\/h3>\n

En recherche psychologique, cognitive et comportementale, la multicollin\u00e9arit\u00e9 n’est point une anomalie accidentelle li\u00e9e \u00e0 un mauvais recueil de donn\u00e9es ; elle repr\u00e9sente au contraire la signature fondamentale des architectures psychiques sous-jacentes. Les inventaires de personnalit\u00e9, les \u00e9chelles cliniques ou les batteries d’aptitudes cognitives exploitent sciemment des faisceaux d’indicateurs convergents pour cerner des construits non observables directement. Par cons\u00e9quent, les sous-\u00e9chelles d’un m\u00eame questionnaire \u2014 \u00e0 l’instar des diff\u00e9rentes facettes du n\u00e9vrosisme dans le mod\u00e8le \u00e0 cinq facteurs (Big Five) ou des mesures de m\u00e9moire de travail et de vitesse de traitement dans une \u00e9valuation d’intelligence \u2014 affichent de mani\u00e8re end\u00e9mique des corr\u00e9lations mutuelles oscillant entre 0,60 et 0,90.<\/p>\n

Lorsqu’un chercheur int\u00e8gre ces dimensions corr\u00e9l\u00e9es dans une \u00e9quation de r\u00e9gression OLS conventionnelle afin d’expliquer un comportement clinique (par exemple, la s\u00e9v\u00e9rit\u00e9 d’un \u00e9pisode d\u00e9pressif majeur ou la rechute toxicomanologique), le mod\u00e8le statistique s’effondre conceptuellement. On assiste fr\u00e9quemment au ph\u00e9nom\u00e8ne perturbant des coefficients de r\u00e9gression aux signes aberrants ou contre-intuitifs, o\u00f9 un facteur de risque th\u00e9oriquement \u00e9prouv\u00e9 se voit attribuer un coefficient n\u00e9gatif en pr\u00e9sence d’une covariable voisine avec laquelle il partage l’essentiel de sa variance. Cette distorsion ne refl\u00e8te nullement la r\u00e9alit\u00e9 psychodynamique ou neurobiologique du patient, mais d\u00e9coule purement d’un artefact d’\u00e9quilibrage math\u00e9matique entre vecteurs collin\u00e9aires.<\/p>\n

De surcro\u00eet, la collin\u00e9arit\u00e9 massive engendre un surapprentissage aigu lorsque les mod\u00e8les sont calibr\u00e9s sur des \u00e9chantillons de taille modeste, situation fr\u00e9quente en neuropsychologie clinique ou en psychiatrie exp\u00e9rimentale o\u00f9 le recrutement de patients est ardu. L’estimateur OLS ajuste alors les coefficients sur le bruit sp\u00e9cifique et les idiosyncrasies de l’\u00e9chantillon d’apprentissage, conduisant \u00e0 une illusion d’ajustement intra-\u00e9chantillon ($R^2$<\/span> artificiellement haut) doubl\u00e9e d’une incapacit\u00e9 pathologique du mod\u00e8le \u00e0 pr\u00e9dire les scores de nouveaux patients au sein d’une cohorte de validation ind\u00e9pendante.<\/p>\n

2.3 Limites de la r\u00e9gression lin\u00e9aire classique par moindres carr\u00e9s ordinaires<\/h3>\n

Les limites structurelles des moindres carr\u00e9s ordinaires face \u00e0 ces configurations de donn\u00e9es ont conduit les m\u00e9thodologistes \u00e0 reconna\u00eetre l’obsolescence de l’OLS pour les protocoles psychom\u00e9triques denses. L’hypoth\u00e8se fondamentale selon laquelle chaque variable pr\u00e9dictive apporte une contribution unique, isolable par le truchement de la d\u00e9rivation partielle (\u00ab toutes choses \u00e9tant \u00e9gales par ailleurs \u00bb), constitue une fiction th\u00e9orique intenable dans les syst\u00e8mes comportementaux o\u00f9 les processus cognitifs, \u00e9motionnels et environnementaux fonctionnent en r\u00e9seaux dynamiques \u00e9troitement coupl\u00e9s et interactifs.<\/p>\n

Face \u00e0 ce constat d’\u00e9chec, les analystes ont historiquement tent\u00e9 d’appliquer des correctifs simplificateurs qui se sont av\u00e9r\u00e9s tout aussi dommageables. L’une des pratiques les plus r\u00e9pandues a consist\u00e9 \u00e0 utiliser des algorithmes de s\u00e9lection pas \u00e0 pas (stepwise regression<\/em>) guid\u00e9s par des crit\u00e8res automatiques de maximisation de variance. Ces proc\u00e9dures heuristiques sont notoirement instables : de menues variations dans les donn\u00e9es d’entr\u00e9e peuvent alt\u00e9rer radicalement la liste des variables conserv\u00e9es, cr\u00e9ant des mod\u00e8les arbitraires qui fragmentent artificiellement des construits psychologiques coh\u00e9rents et violent ouvertement l’int\u00e9grit\u00e9 th\u00e9orique des protocoles de recherche.<\/p>\n

Une autre strat\u00e9gie rudimentaire a consist\u00e9 \u00e0 agr\u00e9ger aveugl\u00e9ment les variables corr\u00e9l\u00e9es au sein d’un score moyen global non pond\u00e9r\u00e9. Si cette approche r\u00e9sout m\u00e9caniquement la multicollin\u00e9arit\u00e9 en ramenant plusieurs pr\u00e9dicteurs \u00e0 un seul, elle repose sur l’hypoth\u00e8se excessivement forte que chaque sous-indicateur contribue de fa\u00e7on rigoureusement \u00e9gale et avec la m\u00eame pr\u00e9cision au ph\u00e9nom\u00e8ne d’int\u00e9r\u00eat. D\u00e8s lors, le recours \u00e0 des architectures dimensionnelles supervis\u00e9es sophistiqu\u00e9es, \u00e0 l’image des moindres carr\u00e9s partiels, s’affirme non comme un simple raffinement calculatoire, mais comme une obligation m\u00e9thodologique incontournable pour appr\u00e9hender la complexit\u00e9 des syst\u00e8mes de mesure modernes.<\/p>\n

3. Comparaison entre la r\u00e9gression sur composantes principales et la r\u00e9gression PLS<\/h2>\n

3.1 M\u00e9canisme de la r\u00e9gression sur composantes principales (PCR)<\/h3>\n

Afin de juguler la multicollin\u00e9arit\u00e9 tout en pr\u00e9servant l’ensemble de l’information multidimensionnelle collect\u00e9e, la statistique multivari\u00e9e a d\u00e9velopp\u00e9 la r\u00e9gression sur composantes principales (souvent abr\u00e9g\u00e9e en PCR<\/a>). Le principe op\u00e9ratoire de la PCR repose sur une d\u00e9composition spectrale s\u00e9quentielle en deux \u00e9tapes distinctes et d\u00e9coupl\u00e9es. Dans un premier temps, l’espace des pr\u00e9dicteurs $X$<\/span> subit une r\u00e9duction de dimensionnalit\u00e9 non supervis\u00e9e par le biais d’une analyse en composantes principales classique, math\u00e9matiquement \u00e9quivalente \u00e0 la d\u00e9composition en valeurs singuli\u00e8res (SVD) de la matrice $X$<\/span> pr\u00e9alablement centr\u00e9e et r\u00e9duite :<\/p>\n

$$X = T_x P_x^T$$<\/span><\/p>\n

Dans cette formulation, $T_x$<\/span> repr\u00e9sente la matrice des scores orthogonaux sur les composantes principales, et $P_x$<\/span> d\u00e9signe la matrice des vecteurs propres ou chargements (loadings<\/em>). L’essence de cette d\u00e9composition r\u00e9side dans la maximisation s\u00e9quentielle de la variance interne de $X$<\/span> : la premi\u00e8re composante principale capture la direction g\u00e9om\u00e9trique le long de laquelle les individus se dispersent le plus, la deuxi\u00e8me capture la dispersion r\u00e9siduelle maximale selon un axe orthogonal au premier, et ainsi de suite jusqu’\u00e0 \u00e9puisement du rang matriciel.<\/p>\n

Dans un second temps, une s\u00e9lection parcimonieuse des $k$<\/span> premi\u00e8res composantes principales (celles qui expliquent la majorit\u00e9 de la variance globale de $X$<\/span>) est inject\u00e9e \u00e0 titre de pr\u00e9dicteurs dans une r\u00e9gression lin\u00e9aire standard contre la variable de r\u00e9ponse $Y$<\/span>. Puisque les colonnes de la matrice r\u00e9duite de scores $T_k$<\/span> sont par construction strictement orthogonales entre elles, la matrice de produit crois\u00e9 $T_k^T T_k$<\/span> est une matrice diagonale pure. L’inversion matricielle devient instantan\u00e9e, la multicollin\u00e9arit\u00e9 est totalement \u00e9radiqu\u00e9e et l’estimation des coefficients de r\u00e9gression par les moindres carr\u00e9s ordinaires s’op\u00e8re sans aucune inflation de variance num\u00e9rique.<\/p>\n

3.2 L’inconv\u00e9nient majeur de l’approche PCR<\/h3>\n

En d\u00e9pit de son apparente perfection formelle, la r\u00e9gression sur composantes principales souffre d’une tare conceptuelle r\u00e9dhibitoire qui limite drastiquement son utilit\u00e9 en mod\u00e9lisation appliqu\u00e9e : la nature strictement non supervis\u00e9e de son \u00e9tape de r\u00e9duction dimensionnelle. Lors de la construction des composantes principales, l’algorithme n’a absolument aucun acc\u00e8s \u00e0 l’information contenue dans la matrice de r\u00e9ponse $Y$<\/span>. L’unique boussole math\u00e9matique guidant l’extraction des axes orthogonaux est la variance interne de la matrice $X$<\/span>.<\/p>\n

Or, rien dans les th\u00e9or\u00e8mes fondamentaux de la statistique ou dans les lois de la nature ne garantit que les axes de variabilit\u00e9 maximale au sein des pr\u00e9dicteurs correspondent aux directions informatives qui sous-tendent la relation fonctionnelle avec le crit\u00e8re $Y$<\/span>. Dans une multitude de contextes empiriques, la variance dominante au sein de $X$<\/span> traduit simplement un bruit technique pr\u00e9pond\u00e9rant, des artefacts de mesure, des styles de r\u00e9ponse syst\u00e9matiques chez les r\u00e9pondants (comme la d\u00e9sirabilit\u00e9 sociale ou le biais d’acquiescement), ou encore des facteurs environnementaux sans rapport avec la pathologie ou le comportement \u00e9tudi\u00e9.<\/p>\n

Si la covariance r\u00e9elle liant $X$<\/span> \u00e0 $Y$<\/span> est v\u00e9hicul\u00e9e par une sous-structure subtile, confin\u00e9e par exemple dans les composantes principales de rang 4, 5 ou plus loin encore, une s\u00e9lection classique bas\u00e9e sur les crit\u00e8res de Kaiser ou le diagramme d’\u00e9boulis \u00e9liminera purement et simplement ces dimensions informatives au motif fallacieux qu’elles pr\u00e9sentent une faible variance brute. L’application de la PCR aboutit alors \u00e0 un \u00e9chec pr\u00e9dictif cuisant : le mod\u00e8le final regorge de composantes statistiquement volumineuses mais d\u00e9pourvues de tout pouvoir explicatif sur la cible, tandis que les pr\u00e9dicteurs efficients ont \u00e9t\u00e9 jet\u00e9s avec les r\u00e9sidus.<\/p>\n

3.3 L’avantage supervis\u00e9 des moindres carr\u00e9s partiels<\/h3>\n

C’est pr\u00e9cis\u00e9ment \u00e0 l’intersection de cette d\u00e9connexion structurelle que s’affirme la sup\u00e9riorit\u00e9 conceptuelle des moindres carr\u00e9s partiels. La PLS remplace la maximisation myope de la variance unilat\u00e9rale $\\text{Var}(X w)$<\/span> par le crit\u00e8re d’optimisation supervis\u00e9 de la covariance bilat\u00e9rale au carr\u00e9 entre la projection des pr\u00e9dicteurs et celle des r\u00e9ponses. Pour la premi\u00e8re composante latente, le programme math\u00e9matique s’exprime ainsi :<\/p>\n

$$\\max_{w, c} \\left[ \\text{Cov}(X w, Y c) \\right]^2 \\quad \\text{sous les contraintes} \\quad |w| = 1 \\quad \\text{et} \\quad |c| = 1$$<\/span><\/p>\n

Puisque la covariance se d\u00e9compose rigoureusement en le produit des \u00e9carts-types des projections et de leur coefficient de corr\u00e9lation lin\u00e9aire :<\/p>\n

$$\\text{Cov}(X w, Y c) = \\sqrt{\\text{Var}(X w)} \\cdot \\sqrt{\\text{Var}(Y c)} \\cdot \\text{Corr}(X w, Y c)$$<\/span><\/p>\n

le crit\u00e8re de la PLS r\u00e9alise un compromis d’une rare \u00e9l\u00e9gance math\u00e9matique. Il contraint l’axe directeur $w$<\/span> \u00e0 identifier une r\u00e9gion de l’espace vectoriel des pr\u00e9dicteurs qui poss\u00e8de simultan\u00e9ment une variance substantielle (pour \u00e9viter de sur-interpr\u00e9ter des fluctuations al\u00e9atoires d’ampleur microscopique) et une corr\u00e9lation lin\u00e9aire maximale avec les variations observ\u00e9es sur la variable de r\u00e9ponse $Y$<\/span>.<\/p>\n

Cette orientation supervis\u00e9e conf\u00e8re \u00e0 la PLS une efficacit\u00e9 param\u00e9trique sans commune mesure avec la PCR. L\u00e0 o\u00f9 une PCR n\u00e9cessite l’extraction de huit \u00e0 dix composantes pour enfin capter une fraction acceptable du signal pr\u00e9dictif, la PLS extrait usuellement la quasi-totalit\u00e9 de l’information pertinente en deux ou trois composantes latentes seulement. Cette parcimonie structurelle optimise les degr\u00e9s de libert\u00e9, immunise l’estimation contre les bruits orthogonaux non pertinents et fournit aux chercheurs des repr\u00e9sentations factorielles bien plus denses, directement interpr\u00e9tables au regard des hypoth\u00e8ses de recherche formul\u00e9es.<\/p>\n

4. Architecture math\u00e9matique et algorithmique de la m\u00e9thode PLS<\/h2>\n

4.1 L’algorithme NIPALS<\/h3>\n

L’algorithme NIPALS<\/a> (Nonlinear Iterative Partial Least Squares<\/em>), conceptualis\u00e9 dans sa forme canonique par Herman Wold, demeure le moteur algorithmique historique le plus limpide pour appr\u00e9hender l’extraction s\u00e9quentielle des composantes. Supposons les matrices $X_0$<\/span> (dimension $n \\times p$<\/span>) et $Y_0$<\/span> (dimension $n \\times q$<\/span>) pr\u00e9alablement centr\u00e9es sur leurs moyennes respectives et, si n\u00e9cessaire, r\u00e9duites \u00e0 une variance unitaire. L’extraction it\u00e9rative de la $a$<\/span>-i\u00e8me composante latente proc\u00e8de selon une boucle d’approximations altern\u00e9es par moindres carr\u00e9s :<\/p>\n