L’analyse pr\u00e9dictive contemporaine est r\u00e9guli\u00e8rement confront\u00e9e \u00e0 l’accroissement vertigineux de la dimensionnalit\u00e9 des donn\u00e9es. Dans les disciplines scientifiques quantitatives, qu’il s’agisse de la chimiom\u00e9trie, de la g\u00e9nomique, de l’\u00e9conom\u00e9trie appliqu\u00e9e ou du traitement du signal, le statisticien fait face \u00e0 des configurations matricielles o\u00f9 le nombre de variables explicatives rivalise avec le nombre d’observations, voire le surpasse. Cette profusion informationnelle s’accompagne d’un \u00e9cueil m\u00e9thodologique redoutable : la multicolin\u00e9arit\u00e9 s\u00e9v\u00e8re. Lorsque les pr\u00e9dicteurs pr\u00e9sentent de fortes interd\u00e9pendances lin\u00e9aires, le mod\u00e8le lin\u00e9aire g\u00e9n\u00e9ralis\u00e9 conventionnel s’effondre, incapable de fournir des estimations stables et interpr\u00e9tables. L’inversion de la matrice de covariance devient num\u00e9riquement instable, provoquant une explosion de la variance des estimateurs et rendant toute inf\u00e9rence statistique caduque.<\/p>\n
Face \u00e0 cette impasse computationnelle, la r\u00e9gression sur composantes principales<\/a> (PCR, pour Principal Component Regression<\/em>) s’impose comme une strat\u00e9gie de r\u00e9gularisation et de r\u00e9duction dimensionnelle de premier plan. Fond\u00e9e sur la synth\u00e8se \u00e9l\u00e9gante de l’analyse factorielle et de la th\u00e9orie de l’estimation par les moindres carr\u00e9s, la PCR transforme l’espace initial des r\u00e9gresseurs, satur\u00e9 de redondances, en un sous-espace vectoriel constitu\u00e9 de dimensions strictement orthogonales. En substituant aux pr\u00e9dicteurs bruts une s\u00e9lection parcimonieuse de scores factoriels ordonn\u00e9s par ordre d\u00e9croissant de variance captur\u00e9e, cette m\u00e9thode restaure la condition math\u00e9matique n\u00e9cessaire \u00e0 une estimation robuste, tout en r\u00e9duisant drastiquement le bruit stochastique sous-jacent.<\/p>\n L’objet de cet article est d’offrir une exploration exhaustive, tant sur le plan th\u00e9orique que pratique, de la r\u00e9gression sur composantes principales au sein de l’\u00e9cosyst\u00e8me Python. En s’appuyant sur les biblioth\u00e8ques scientifiques fondamentales telles que NumPy, Pandas et scikit-learn<\/a>, nous d\u00e9taillerons pas \u00e0 pas chaque phase du processus d’ing\u00e9nierie statistique : de la d\u00e9composition spectrale sous-jacente au diagnostic rigoureux des r\u00e9sidus, en passant par le partitionnement m\u00e9thodique des donn\u00e9es, le calibrage d’hyperparam\u00e8tres par validation crois\u00e9e et la r\u00e9tro-projection des coefficients dans l’espace physique d’origine. Cette d\u00e9marche acad\u00e9mique et appliqu\u00e9e fournira aux chercheurs et praticiens de la science des donn\u00e9es les cl\u00e9s n\u00e9cessaires pour ma\u00eetriser l’architecture de la PCR et l’exploiter dans des contextes pr\u00e9dictifs exigeants.<\/p>\n L’\u00e9mergence de la r\u00e9gression sur composantes principales s’inscrit au confluent de deux traditions quantitatives majeures du vingti\u00e8me si\u00e8cle : la psychom\u00e9trie factorielle initi\u00e9e par Charles Spearman et Harold Hotelling, et la statistique inf\u00e9rentielle formalis\u00e9e par Carl Friedrich Gauss et Ronald Fisher. Historiquement, l’analyse factorielle visait \u00e0 r\u00e9sumer la morphologie des corr\u00e9lations entre variables manifestes par l’extraction d’axes latents non observables. Ce n’est qu’au milieu des ann\u00e9es 1950 et 1960 que des th\u00e9oriciens comme Kendall (1957) et Massy (1965) ont formalis\u00e9 l’utilisation des composantes issues de l’Analyse en Composantes Principales<\/a> (ACP) comme variables ind\u00e9pendantes dans une structure de r\u00e9gression lin\u00e9aire standard. Cette transition a marqu\u00e9 un changement paradigmatique, faisant passer l’ACP d’un outil purement descriptif et exploratoire \u00e0 un puissant r\u00e9ducteur dimensionnel d\u00e9di\u00e9 \u00e0 la mod\u00e9lisation conditionnelle et pr\u00e9dictive.<\/p>\n Formellement, la PCR se d\u00e9finit comme une m\u00e9thodologie d’estimation lin\u00e9aire en deux \u00e9tapes distinctes : la projection lin\u00e9aire sans supervision de l’espace des pr\u00e9dicteurs sur un ensemble restreint d’axes orthogonaux maximisant la dispersion g\u00e9om\u00e9trique, suivie de la r\u00e9gression par les moindres carr\u00e9s de la variable r\u00e9ponse sur ces nouvelles coordonn\u00e9es, d\u00e9sign\u00e9es sous le terme de scores factoriels. Contrairement \u00e0 la r\u00e9gression lin\u00e9aire multiple ordinaire qui calibre simultan\u00e9ment les coefficients associ\u00e9s \u00e0 chaque dimension observ\u00e9e, la PCR brise le couplage dimensionnel en op\u00e9rant sur des pr\u00e9dicteurs d\u00e9corr\u00e9l\u00e9s par construction alg\u00e9brique. Cette d\u00e9corr\u00e9lation garantit une additivit\u00e9 parfaite de la variance expliqu\u00e9e par chaque composante dans le mod\u00e8le lin\u00e9aire.<\/p>\n La distinction conceptuelle entre la r\u00e9gression multiple conventionnelle et la PCR r\u00e9side principalement dans le traitement de l’espace des param\u00e8tres. Dans un mod\u00e8le standard, l’objectif d’optimisation se concentre exclusivement sur la minimisation de l’erreur quadratique de pr\u00e9diction le long de l’axe de la variable cible, sans consid\u00e9ration pour la g\u00e9om\u00e9trie interne de la matrice des variables explicatives. La PCR, en revanche, impose une contrainte structurelle pr\u00e9alable : les coefficients de r\u00e9gression doivent imp\u00e9rativement appartenir au sous-espace lin\u00e9aire engendr\u00e9 par les vecteurs propres dominants de la matrice de variance-covariance des pr\u00e9dicteurs. Ce m\u00e9canisme de r\u00e9gularisation par projection permet d’\u00e9liminer les composantes directionnelles associ\u00e9es aux plus faibles valeurs propres, souvent assimilables \u00e0 du bruit de mesure ou \u00e0 des instabilit\u00e9s d’\u00e9chantillonnage, stabilisant ainsi consid\u00e9rablement l’estimation finale.<\/p>\n Pour appr\u00e9hender rigoureusement les apports de la PCR, il convient de revisiter l’architecture alg\u00e9brique du mod\u00e8le lin\u00e9aire standard. Soit un \u00e9chantillon de n<\/em> observations ind\u00e9pendantes d\u00e9crit par un vecteur de r\u00e9ponses continues y<\/em> de dimension (n, 1)<\/em> et une matrice de plan d’exp\u00e9rience X<\/em> de dimension (n, p)<\/em>, o\u00f9 p<\/em> repr\u00e9sente le nombre de variables pr\u00e9dictives pr\u00e9alablement centr\u00e9es. Le mod\u00e8le lin\u00e9aire postule la relation stochastique fondamentale : y = X β + ε<\/em>, o\u00f9 β<\/em> est le vecteur de dimension (p, 1)<\/em> des coefficients r\u00e9gressifs inconnus, et ε<\/em> d\u00e9signe le vecteur des perturbations al\u00e9atoires de dimension (n, 1)<\/em>. L’estimation classique repose sur le crit\u00e8re d’optimisation de Gauss, consistant \u00e0 minimiser la somme des carr\u00e9s des r\u00e9sidus, formellement exprim\u00e9e par la forme quadratique : RSS(β) = (y – X β)T<\/sup> (y – X β)<\/em>.<\/p>\n L’annulation du gradient de cette fonctionnelle convexe par rapport au vecteur β<\/em> conduit au syst\u00e8me des \u00e9quations normales standard : (XT<\/sup> X) β = XT<\/sup> y<\/em>. Lorsque la matrice de Gram XT<\/sup> X<\/em>, d’ordre (p, p)<\/em>, est de rang plein \u00e9gal \u00e0 p<\/em>, elle admet une inverse unique. L’estimateur des moindres carr\u00e9s ordinaires<\/a> (MCO) prend alors l’expression analytique canonique : β̂MCO<\/sub> = (XT<\/sup> X)-1<\/sup> XT<\/sup> y<\/em>. D’apr\u00e8s le th\u00e9or\u00e8me fondamental de Gauss-Markov, sous les hypoth\u00e8ses d’esp\u00e9rance conditionnelle nulle de l’al\u00e9a et d’homosc\u00e9dasticit\u00e9 sph\u00e9rique (matrice de variance-covariance de ε<\/em> proportionnelle \u00e0 la matrice identit\u00e9 σ2<\/sup> In<\/sub><\/em>), l’estimateur β̂MCO<\/sub><\/em> est le meilleur estimateur lin\u00e9aire non biais\u00e9 (BLUE), conf\u00e9rant \u00e0 ses composantes une variance minimale parmi la classe des estimateurs lin\u00e9aires sans biais.<\/p>\n N\u00e9anmoins, l’\u00e9difice math\u00e9matique de Gauss-Markov s’effondre face aux limites computationnelles et statistiques inh\u00e9rentes \u00e0 l’inversion de la matrice XT<\/sup> X<\/em> en grande dimension. Si deux ou plusieurs colonnes de X<\/em> pr\u00e9sentent une d\u00e9pendance lin\u00e9aire forte, la matrice XT<\/sup> X<\/em> tend vers la singularit\u00e9. Ses valeurs propres s’effondrent vers z\u00e9ro, provoquant une explosion spectaculaire de la trace de sa matrice inverse, Tr((XT<\/sup> X)-1<\/sup>)<\/em>. Or, la matrice de covariance de l’estimateur des MCO \u00e9tant directement donn\u00e9e par Var(β̂MCO<\/sub>) = σ2<\/sup> (XT<\/sup> X)-1<\/sup><\/em>, cette quasi-singularit\u00e9 induit une dispersion exorbitante des coefficients estim\u00e9s. Dans la situation limite o\u00f9 p > n<\/em>, le rang de la matrice ne peut d\u00e9passer n<\/em>, rendant XT<\/sup> X<\/em> structurellement non inversible et interdisant formellement l’application des moindres carr\u00e9s ordinaires sans recours pr\u00e9alable \u00e0 une m\u00e9thode de r\u00e9gularisation ou de r\u00e9duction de rang.<\/p>\n L’Analyse en Composantes Principales apporte une solution analytique \u00e9l\u00e9gante \u00e0 cette aporie matricielle en op\u00e9rant une d\u00e9composition spectrale de la matrice de dispersion. Consid\u00e9rons la matrice de variance-covariance empirique des pr\u00e9dicteurs, proportionnelle \u00e0 la matrice sym\u00e9trique semi-d\u00e9finie positive S = (1 \/ (n – 1)) XT<\/sup> X<\/em>, sous l’hypoth\u00e8se de variables pr\u00e9alablement centr\u00e9es \u00e0 moyenne nulle. En vertu du th\u00e9or\u00e8me spectral, toute matrice sym\u00e9trique r\u00e9elle admet une d\u00e9composition en \u00e9l\u00e9ments propres de la forme : S = V Λ VT<\/sup><\/em>, o\u00f9 V<\/em> est une matrice orthogonale (p, p)<\/em> dont les colonnes vj<\/sub><\/em> constituent une base orthonorm\u00e9e de vecteurs propres, et Λ = diag(λ1<\/sub>, λ2<\/sub>, …, λp<\/sub>)<\/em> est la matrice diagonale des valeurs propres associ\u00e9es, conventionnellement ordonn\u00e9es selon la hi\u00e9rarchie d\u00e9croissante : λ1<\/sub> ≥ λ2<\/sub> ≥ … ≥ λp<\/sub> ≥ 0<\/em>.<\/p>\n Chaque vecteur propre vj<\/sub><\/em> d\u00e9finit une direction g\u00e9om\u00e9trique d’extension maximale au sein du nuage de points multidimensionnel. La projection de la matrice originale X<\/em> sur cette base orthonorm\u00e9e engendre la matrice des coordonn\u00e9es factorielles, commun\u00e9ment d\u00e9nomm\u00e9e matrice des scores factoriels et not\u00e9e Z<\/em>, telle que : Z = X V<\/em>. La j<\/em>-i\u00e8me colonne de Z<\/em>, d\u00e9finie par zj<\/sub> = X vj<\/sub><\/em>, repr\u00e9sente la j<\/em>-i\u00e8me composante principale de l’\u00e9chantillon. La propri\u00e9t\u00e9 d’orthogonalit\u00e9 stricte des vecteurs propres, satisfaisant la relation VT<\/sup> V = V VT<\/sup> = Ip<\/sub><\/em>, conf\u00e8re aux composantes principales une propri\u00e9t\u00e9 statistique cardinale : la d\u00e9corr\u00e9lation mutuelle totale.<\/p>\n En effet, la matrice de variance-covariance empirique associ\u00e9e aux nouvelles variables synth\u00e9tiques Z<\/em> est rigoureusement diagonale : Var(Z) = (1 \/ (n – 1)) ZT<\/sup> Z = (1 \/ (n – 1)) VT<\/sup> XT<\/sup> X V = VT<\/sup> S V = Λ<\/em>. Il en r\u00e9sulte que la covariance empirique entre deux composantes distinctes zj<\/sub><\/em> et zk<\/sub><\/em> est rigoureusement nulle pour tout j ≠ k<\/em>. De surcro\u00eet, la variance empirique de chaque score factoriel zj<\/sub><\/em> est exactement \u00e9gale \u00e0 la valeur propre correspondante λj<\/sub><\/em>. Cette d\u00e9composition pr\u00e9serve l’int\u00e9gralit\u00e9 de la dispersion spatiale originelle, la trace de la matrice initiale \u00e9tant pr\u00e9serv\u00e9e en vertu de l’invariance cyclique de la trace : Tr(S) = Tr(V Λ VT<\/sup>) = Tr(Λ VT<\/sup> V) = Tr(Λ) = ∑j=1<\/sub>p<\/sup> λj<\/sub><\/em>. L’information g\u00e9om\u00e9trique globale se trouve ainsi hi\u00e9rarchis\u00e9e, concentr\u00e9e sur les premiers axes de dispersion maximale et purg\u00e9e de toute colin\u00e9arit\u00e9 redondante.<\/p>\n La multicolin\u00e9arit\u00e9<\/a> d\u00e9signe un \u00e9tat structural du tableau exp\u00e9rimental dans lequel plusieurs pr\u00e9dicteurs entretiennent des d\u00e9pendances lin\u00e9aires approximatives ou parfaites. Dans la pratique empirique des sciences exp\u00e9rimentales, les capteurs spectroscopiques, les relev\u00e9s macro\u00e9conomiques synchronis\u00e9s ou les marqueurs transcriptomiques collectent fr\u00e9quemment des signaux redondants qui \u00e9voluent de concert. Contrairement \u00e0 la colin\u00e9arit\u00e9 parfaite, qui est une anomalie d\u00e9terministe o\u00f9 le d\u00e9terminant de XT<\/sup> X<\/em> s’annule strictement, la multicolin\u00e9arit\u00e9 s\u00e9v\u00e8re est une condition stochastique insidieuse o\u00f9 le d\u00e9terminant approche asymptotiquement z\u00e9ro sans jamais l’atteindre compl\u00e8tement. La matrice de Gram demeure techniquement inversible au sens math\u00e9matique, mais elle devient num\u00e9riquement mal conditionn\u00e9e au regard de l’analyse num\u00e9rique matricielle.<\/p>\n La cons\u00e9quence statistique la plus imm\u00e9diate de cette quasi-d\u00e9pendance lin\u00e9aire r\u00e9side dans l’inflation spectaculaire de la variance des estimateurs des coefficients de r\u00e9gression. Math\u00e9matiquement, la variance de l’estimateur du coefficient β̂j<\/sub><\/em> par les moindres carr\u00e9s peut s’\u00e9crire sous la forme factoris\u00e9e : Var(β̂j<\/sub>) = (σ2<\/sup> \/ ((n – 1) Var(Xj<\/sub>))) × (1 \/ (1 – Rj<\/sub>2<\/sup>))<\/em>, o\u00f9 Rj<\/sub>2<\/sup><\/em> d\u00e9signe le coefficient de d\u00e9termination issu de la r\u00e9gression lin\u00e9aire de la variable Xj<\/sub><\/em> sur l’ensemble des p – 1<\/em> autres pr\u00e9dicteurs. Lorsque Xj<\/sub><\/em> est fortement coupl\u00e9e au reste de l’espace pr\u00e9dictif, Rj<\/sub>2<\/sup><\/em> tend vers l’unit\u00e9, propulsant le second terme vers l’infini. Les intervalles de confiance associ\u00e9s aux param\u00e8tres estim\u00e9s s’\u00e9largissent alors de mani\u00e8re d\u00e9mesur\u00e9e, rendant les estimations statistiquement insignifiantes et instables face aux micro-perturbations des donn\u00e9es.<\/p>\n Cette instabilit\u00e9 num\u00e9rique a des r\u00e9percussions directes sur l’interpr\u00e9tabilit\u00e9 du mod\u00e8le. Les tests d’hypoth\u00e8se param\u00e9triques, tels que le test de Student de significativit\u00e9 individuelle, perdent toute puissance statistique en g\u00e9n\u00e9rant des p-values<\/em> anormalement \u00e9lev\u00e9es, m\u00eame en pr\u00e9sence d’une relation causale r\u00e9elle et d’une significativit\u00e9 globale attest\u00e9e par le test de Fisher global. De surcro\u00eet, les coefficients peuvent adopter des valeurs aberrantes, voire changer de signe alg\u00e9brique de mani\u00e8re contre-intuitive, contredisant les lois physiques ou \u00e9conomiques r\u00e9gissant le ph\u00e9nom\u00e8ne sous-jacent. Ce paradoxe d\u00e9montre qu’un mod\u00e8le de r\u00e9gression ordinaire hautement colin\u00e9aire peut afficher un coefficient de d\u00e9termination global R2<\/sup><\/em> trompeusement \u00e9lev\u00e9 tout en s’av\u00e9rant parfaitement incapable d’isoler l’effet marginal propre de chaque pr\u00e9dicteur.<\/p>\n La d\u00e9tection et la caract\u00e9risation formelle de la multicolin\u00e9arit\u00e9 requi\u00e8rent la mobilisation d’un ensemble d’outils analytiques compl\u00e9mentaires, d\u00e9passant la simple inspection visuelle des nuages de points. Le facteur d’inflation de la variance (VIF, pour Variance Inflation Factor<\/em>) constitue l’indice standard d’\u00e9valuation univari\u00e9e de la colin\u00e9arit\u00e9. Directement d\u00e9riv\u00e9 de la formulation de la variance des estimateurs, le VIF associ\u00e9 \u00e0 la variable Xj<\/sub><\/em> est d\u00e9fini par : VIFj<\/sub> = 1 \/ (1 – Rj<\/sub>2<\/sup>)<\/em>. En l’absence totale de corr\u00e9lation lin\u00e9aire entre Xj<\/sub><\/em> et les autres colonnes de la matrice X<\/em>, Rj<\/sub>2<\/sup> = 0<\/em> et VIFj<\/sub> = 1<\/em>. Bien qu’aucun seuil absolu ne fasse l’unanimit\u00e9 absolue dans la litt\u00e9rature statistique, un VIF exc\u00e9dant une valeur seuil conventionnelle de 5 ou 10 indique une multicolin\u00e9arit\u00e9 probl\u00e9matique justifiant l’abandon des MCO classiques ou l’application d’un protocole de rem\u00e9diation tel que la PCR.<\/p>\n Une approche diagnostique globale plus rigoureuse repose sur l’analyse spectrale de la matrice de corr\u00e9lation ou de la matrice de conception standardis\u00e9e. Cette d\u00e9marche s’appuie sur le calcul de l’indice de conditionnement (Condition Index<\/em>), formalis\u00e9 notamment par Belsley, Kuh et Welsch (1980). Soit λmax<\/sub><\/em> la plus grande valeur propre de la matrice XT<\/sup> X<\/em> et λj<\/sub><\/em> la j<\/em>-i\u00e8me valeur propre ; l’indice de conditionnement associ\u00e9 \u00e0 l’axe j<\/em> est d\u00e9fini par : κj<\/sub> = √(λmax<\/sub> \/ λj<\/sub>)<\/em>. Le nombre de conditionnement global de la matrice correspond au supremum de ces indices, \u00e0 savoir κ = √(λmax<\/sub> \/ λmin<\/sub>)<\/em>. Un nombre de conditionnement inf\u00e9rieur \u00e0 10 d\u00e9note une matrice saine et bien conditionn\u00e9e ; une valeur comprise entre 10 et 30 signale une colin\u00e9arit\u00e9 mod\u00e9r\u00e9e ; enfin, un indice exc\u00e9dant 30 r\u00e9v\u00e8le une colin\u00e9arit\u00e9 s\u00e9v\u00e8re et une instabilit\u00e9 num\u00e9rique critique lors de l’inversion matricielle.<\/p>\n Enfin, la construction de la matrice de corr\u00e9lation lin\u00e9aire de Pearson offre une cartographie synoptique des interd\u00e9pendances bivari\u00e9es. Bien qu’elle s’av\u00e8re aveugle face aux colin\u00e9arit\u00e9s d’ordre sup\u00e9rieur (c’est-\u00e0-dire les relations o\u00f9 une variable est une combinaison lin\u00e9aire de plusieurs pr\u00e9dicteurs sans \u00eatre fortement corr\u00e9l\u00e9e \u00e0 aucun d’eux individuellement), elle permet d’identifier imm\u00e9diatement les blocs de forte covariance et les grappes de variables redondantes. Ces diagnostics conjoints fournissent la justification th\u00e9orique et empirique n\u00e9cessaire \u00e0 la transition vers une technique d’orthogonalisation des pr\u00e9dicteurs telle que la r\u00e9gression sur composantes principales.<\/p>\n La r\u00e9gression sur composantes principales d\u00e9samorce structurellement la crise de la multicolin\u00e9arit\u00e9 en modifiant la g\u00e9om\u00e9trie m\u00eame des pr\u00e9dicteurs soumis \u00e0 l’estimation lin\u00e9aire. Puisque les composantes principales Z = X V<\/em> satisfont la condition d’orthogonalit\u00e9 stricte ZT<\/sup> Z = (n – 1) Λ<\/em>, la matrice d’information de Fisher associ\u00e9e au nouveau probl\u00e8me d’estimation, ZT<\/sup> Z<\/em>, est rigoureusement diagonale. L’inversion d’une telle matrice ne n\u00e9cessite aucun algorithme complexe de pivotement d’\u00e9limination de Gauss-Jordan sujet aux erreurs d’arrondi : l’inverse d’une matrice diagonale s’obtient trivialement en inversant chacun de ses termes diagonaux scalaires, soit (ZT<\/sup> Z)-1<\/sup> = (1 \/ (n – 1)) Λ-1<\/sup><\/em>, o\u00f9 Λ-1<\/sup> = diag(1\/λ1<\/sub>, 1\/λ2<\/sub>, …, 1\/λp<\/sub>)<\/em>.<\/p>\n Cette simplification alg\u00e9brique \u00e9limine toute interf\u00e9rence crois\u00e9e entre r\u00e9gresseurs. Le VIF de chaque score factoriel devient identiquement \u00e9gal \u00e0 1, attestant de l’\u00e9radication totale de toute inflation de variance attribuable \u00e0 la colin\u00e9arit\u00e9. De plus, la PCR ne se contente pas d’orthogonaliser l’espace : elle proc\u00e8de \u00e0 un filtrage d\u00e9lib\u00e9r\u00e9 des dimensions projectives. En s\u00e9lectionnant un sous-ensemble des M<\/em> premi\u00e8res composantes (avec M < p<\/em>), le statisticien \u00e9carte sciemment les axes directionnels associ\u00e9s aux plus petites valeurs propres λM+1<\/sub>, …, λp<\/sub><\/em>. Ce sont pr\u00e9cis\u00e9ment ces directions asymptotiquement plates qui portent la quasi-singularit\u00e9 matricielle et amplifient d\u00e9mesur\u00e9ment la variance de l’estimateur.<\/p>\n La robustesse conf\u00e9r\u00e9e par la PCR s’explique ainsi par un arbitrage classique et salutaire au sens du compromis biais-variance. L’omission des p – M<\/em> derni\u00e8res composantes introduit un biais math\u00e9matique d\u00e9lib\u00e9r\u00e9 dans l’estimation des coefficients originels, rompant avec le dogme de l’absence de biais des moindres carr\u00e9s ordinaires. Cependant, ce compromis permet une diminution massive de la variance globale de l’estimateur. L’erreur quadratique moyenne totale de pr\u00e9diction (MSE), qui somme le carr\u00e9 du biais et la variance, s’en trouve significativement amoindrie. La PCR pr\u00e9serve ainsi la presque totalit\u00e9 du signal informationnel structur\u00e9 contenu dans l’\u00e9chantillon tout en purgeant la structure matricielle de ses redondances d\u00e9stabilisatrices.<\/p>\n Dans l’ing\u00e9nierie algorithmique moderne, l’extraction des composantes principales ne passe que tr\u00e8s rarement par le calcul explicite de la matrice de variance-covariance empirique XT<\/sup> X<\/em>, dont l’\u00e9valuation directe peut d\u00e9grader la pr\u00e9cision num\u00e9rique par l’accumulation d’erreurs de troncature en virgule flottante. La norme algorithmique contemporaine repose sur la D\u00e9composition en Valeurs Singuli\u00e8res<\/a> (SVD, pour Singular Value Decomposition<\/em>), formalis\u00e9e par Gene Golub et William Kahan. La SVD \u00e9tablit que toute matrice r\u00e9elle rectangulaire X<\/em> de dimensions (n, p)<\/em> peut \u00eatre factoris\u00e9e de mani\u00e8re exacte sous la forme : X = U Σ VT<\/sup><\/em>.<\/p>\n Dans cette factorisation fondamentale, U<\/em> est une matrice semi-orthogonale de dimension (n, p)<\/em> dont les colonnes, appel\u00e9es vecteurs singuliers gauches, constituent une base orthonorm\u00e9e de l’espace des colonnes de X<\/em> v\u00e9rifiant UT<\/sup> U = Ip<\/sub><\/em>. La matrice V<\/em> est une matrice orthogonale de dimension (p, p)<\/em> dont les colonnes sont les vecteurs singuliers droits, satisfaisant VT<\/sup> V = V VT<\/sup> = Ip<\/sub><\/em>. Enfin, la matrice centrale Σ<\/em> est une matrice diagonale de dimension (p, p)<\/em> contenant les valeurs singuli\u00e8res scalaires r\u00e9elles positives σ1<\/sub> ≥ σ2<\/sub> ≥ … ≥ σp<\/sub> ≥ 0<\/em>, ordonn\u00e9es de mani\u00e8re strictement non croissante.<\/p>\n Le lien analytique entre la SVD et la d\u00e9composition spectrale de la covariance est direct et \u00e9l\u00e9gant. En formant le produit matriciel XT<\/sup> X<\/em> \u00e0 partir de sa d\u00e9composition singuli\u00e8re, il vient : XT<\/sup> X = (U Σ VT<\/sup>)T<\/sup> (U Σ VT<\/sup>) = V ΣT<\/sup> UT<\/sup> U Σ VT<\/sup> = V Σ2<\/sup> VT<\/sup><\/em>. Par identification avec l’\u00e9quation aux \u00e9l\u00e9ments propres XT<\/sup> X = V ((n – 1) Λ) VT<\/sup><\/em>, on constate imm\u00e9diatement que les vecteurs singuliers droits de X<\/em> sont rigoureusement identiques aux vecteurs propres de la matrice de dispersion XT<\/sup> X<\/em>. De surcro\u00eet, les valeurs singuli\u00e8res σj<\/sub><\/em> sont directement reli\u00e9es aux valeurs propres par la relation : λj<\/sub> = σj<\/sub>2<\/sup> \/ (n – 1)<\/em>. L’algorithme d’ACP de la biblioth\u00e8que scikit-learn s’appuie exclusivement sur des variantes optimis\u00e9es de la SVD (telles que la SVD tronqu\u00e9e ou la SVD randomis\u00e9e de Halko et al.), garantissant une stabilit\u00e9 num\u00e9rique optimale et une complexit\u00e9 temporelle r\u00e9duite face aux jeux de donn\u00e9es massifs.<\/p>\n L’exploitation op\u00e9rationnelle de l’ACP n\u00e9cessite une m\u00e9trique rigoureuse pour quantifier la proportion d’information conserv\u00e9e par chaque axe factoriel successif. La variance totale contenue dans l’ensemble des pr\u00e9dicteurs standardis\u00e9s est \u00e9quivalente \u00e0 la somme des valeurs propres de la matrice de covariance, soit ∑1. Fondements th\u00e9oriques et math\u00e9matiques de la r\u00e9gression sur composantes principales<\/h2>\n
1.1 Origine et d\u00e9finition de la r\u00e9gression sur composantes principales (PCR)<\/h3>\n
1.2 Formulation alg\u00e9brique de la r\u00e9gression lin\u00e9aire classique<\/h3>\n
1.3 M\u00e9canismes de la transformation des pr\u00e9dicteurs en composantes principales<\/h3>\n
2. La probl\u00e9matique de la multicollin\u00e9arit\u00e9 dans l’analyse de donn\u00e9es<\/h2>\n
2.1 Nature et manifestations de la multicolin\u00e9arit\u00e9 s\u00e9v\u00e8re<\/h3>\n
2.2 Outils diagnostiques de la corr\u00e9lation entre pr\u00e9dicteurs<\/h3>\n
2.3 Pourquoi la PCR constitue une r\u00e9ponse robuste \u00e0 la redondance<\/h3>\n
3. Architecture algorithmique de l’Analyse en Composantes Principales (ACP)<\/h2>\n
3.1 D\u00e9composition en valeurs singuli\u00e8res (SVD)<\/h3>\n
3.2 Calcul et s\u00e9lection de la variance expliqu\u00e9e<\/h3>\n