{"id":25816,"date":"2026-11-08T16:23:06","date_gmt":"2026-11-08T16:23:06","guid":{"rendered":"https:\/\/french.arabpsychology.com\/?psych_comparison=multicolinearite-vs-singularite"},"modified":"2026-11-08T16:23:06","modified_gmt":"2026-11-08T16:23:06","slug":"multicolinearite-vs-singularite","status":"publish","type":"psych_comparison","link":"https:\/\/french.arabpsychology.com\/?psych_comparison=multicolinearite-vs-singularite","title":{"rendered":"Multicolin\u00e9arit\u00e9 vs Singularit\u00e9"},"content":{"rendered":"<p>Dans l&rsquo;arsenal de l&rsquo;\u00e9conom\u00e9trie appliqu\u00e9e, de la biostatistique et de la mod\u00e9lisation statistique contemporaine, l&rsquo;estimation des param\u00e8tres par la m\u00e9thode des moindres carr\u00e9s ordinaires (MCO) repose sur un \u00e9difice alg\u00e9brique dont la robustesse conditionne l&rsquo;ensemble des inf\u00e9rences ult\u00e9rieures. Lorsque les praticiens confrontent leurs cadres th\u00e9oriques \u00e0 la complexit\u00e9 des donn\u00e9es observationnelles, ils se heurtent invariablement \u00e0 des pathologies structurelles affectant la matrice de conception. Parmi ces d\u00e9sordres, deux concepts occupent une place pr\u00e9pond\u00e9rante, tout en suscitant une confusion conceptuelle et pratique tenace : la multicolin\u00e9arit\u00e9 et la singularit\u00e9 matricielle. Bien que ces deux \u00e9tats d\u00e9crivent une redondance au sein des variables explicatives, leurs implications th\u00e9oriques, leurs fondements math\u00e9matiques et leurs cons\u00e9quences computationnelles se situent sur des plans \u00e9pist\u00e9mologiques fondamentalement divergents.<\/p>\n<p>La confusion entre ces deux notions proc\u00e8de pour une large part d&rsquo;une terminologie flottante dans la litt\u00e9rature empirique et de l&rsquo;opacit\u00e9 relative des environnements logiciels modernes. Confront\u00e9 \u00e0 un message d&rsquo;erreur signalant une \u00ab matrice singuli\u00e8re \u00bb ou observant des \u00e9carts-types d\u00e9mesur\u00e9ment gonfl\u00e9s pour des estimateurs par ailleurs non significatifs, l&rsquo;analyste tend fr\u00e9quemment \u00e0 subsumer ces deux r\u00e9alit\u00e9s sous l&rsquo;\u00e9tiquette g\u00e9n\u00e9rique de \u00ab probl\u00e8me de corr\u00e9lation \u00bb. Une telle assimilation constitue une faute m\u00e9thodologique lourde. D&rsquo;un c\u00f4t\u00e9, la multicolin\u00e9arit\u00e9 est un ph\u00e9nom\u00e8ne statistique continu, intrins\u00e8quement li\u00e9 \u00e0 l&rsquo;\u00e9chantillonnage et \u00e0 la variabilit\u00e9 des donn\u00e9es, qui d\u00e9grade la pr\u00e9cision inf\u00e9rentielle sans jamais an\u00e9antir l&rsquo;existence math\u00e9matique de la solution des moindres carr\u00e9s. De l&rsquo;autre c\u00f4t\u00e9, la singularit\u00e9 repr\u00e9sente une rupture alg\u00e9brique absolue, une discontinuit\u00e9 discr\u00e8te o\u00f9 l&rsquo;espace vectoriel engendr\u00e9 par les r\u00e9gresseurs perd une dimension, privant le syst\u00e8me d&rsquo;\u00e9quations normales de son unicit\u00e9 et interdisant toute inversion matricielle au sens classique de Cramer.<\/p>\n<p>Le pr\u00e9sent article se propose de diss\u00e9quer de mani\u00e8re exhaustive la fronti\u00e8re s\u00e9parant la multicolin\u00e9arit\u00e9 de la singularit\u00e9. En explorant la g\u00e9om\u00e9trie des sous-espaces vectoriels, le comportement spectral de la matrice d&rsquo;information de Fisher, les m\u00e9canismes algorithmiques d&rsquo;inversion et les crit\u00e8res de diagnostic avanc\u00e9s, nous mettrons en lumi\u00e8re la nature profonde de cette dualit\u00e9. Cette \u00e9tude d\u00e9taill\u00e9e offre aux chercheurs, biostatisticiens, data scientists et \u00e9conom\u00e8tres les rep\u00e8res analytiques indispensables pour diagnostiquer avec certitude la pathologie matricielle en pr\u00e9sence, \u00e9valuer son impact sur l&rsquo;inf\u00e9rence causale ou la pr\u00e9diction, et appliquer le protocole de rem\u00e9diation formellement adapt\u00e9, depuis l&rsquo;alg\u00e8bre de r\u00e9gularisation jusqu&rsquo;aux arbitrages th\u00e9oriques de respcification structurelle.<\/p>\n<h2>1. Introduction : Fondements conceptuels et confusion r\u00e9currente en mod\u00e9lisation statistique<\/h2>\n<h3>1.1 D\u00e9finition liminaire des deux ph\u00e9nom\u00e8nes<\/h3>\n<p>Pour aborder avec rigueur l&rsquo;\u00e9tude des d\u00e9pendances entre r\u00e9gresseurs, il convient de poser les d\u00e9finitions matricielles de r\u00e9f\u00e9rence dans le cadre du mod\u00e8le de r\u00e9gression lin\u00e9aire multiple classique, formalis\u00e9 par l&rsquo;\u00e9quation vectorielle :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>Y = X&beta; + &epsilon;<\/em><\/span><\/p>\n<p>Dans cette formulation, <em>Y<\/em> d\u00e9signe un vecteur de dimension <em>(n &times; 1)<\/em> repr\u00e9sentant la variable d\u00e9pendante, <em>X<\/em> est la matrice de conception de dimensions <em>(n &times; p)<\/em> contenant les observations relatives aux <em>p<\/em> variables explicatives (incluant potentiellement une colonne unitaire associ\u00e9e \u00e0 la constante), <em>&beta;<\/em> est le vecteur de coefficients inconnus de dimension <em>(p &times; 1)<\/em>, et <em>&epsilon;<\/em> constitue le vecteur des perturbations stochastiques d&rsquo;esp\u00e9rance nulle et de matrice de covariance scalaire <em>&sigma;\u00b2 I<sub>n<\/sub><\/em>.<\/p>\n<p>La <strong>multicolin\u00e9arit\u00e9<\/strong> d\u00e9signe une configuration empirique au sein de laquelle deux ou plusieurs colonnes de la matrice de conception <em>X<\/em> pr\u00e9sentent des corr\u00e9lations lin\u00e9aires fortes, sans pour autant qu&rsquo;aucune d&rsquo;entre elles ne puisse s&rsquo;exprimer exactement comme une combinaison lin\u00e9aire stricte des autres. Sur le plan vectoriel, cela signifie que les vecteurs colonnes <em>X<sub>j<\/sub><\/em> forment entre eux des angles g\u00e9om\u00e9triques r\u00e9duits, induisant un volume hyper-ellipso\u00efdal \u00e9troit pour le parall\u00e9lotope engendr\u00e9 par ces variables. La matrice carr\u00e9e des produits crois\u00e9s <em>X&rsquo;X<\/em> (ou matrice de dispersion, proportionnelle \u00e0 la matrice de variance-covariance empirique des pr\u00e9dicteurs) demeure \u00e0 d\u00e9terminant strictement positif :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>det(X&rsquo;X) &gt; 0<\/em><\/span><\/p>\n<p>Par cons\u00e9quent, la matrice <em>X&rsquo;X<\/em> est math\u00e9matiquement inversible. La multicolin\u00e9arit\u00e9 n&rsquo;est donc pas une violation formelle des hypoth\u00e8ses classiques de Gauss-Markov, mais un \u00e9tat de fait li\u00e9 \u00e0 l&rsquo;\u00e9chantillonnage, caract\u00e9ris\u00e9 par un spectre de valeurs propres dont les plus petites approchent de z\u00e9ro sans jamais l&rsquo;atteindre.<\/p>\n<p>\u00c0 l&rsquo;inverse, la <strong>singularit\u00e9<\/strong> caract\u00e9rise un \u00e9tat alg\u00e9brique d&rsquo;interdiction formelle. Une matrice carr\u00e9e <em>A<\/em> est dite singuli\u00e8re si et seulement si son d\u00e9terminant est rigoureusement nul :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>det(A) = 0<\/em><\/span><\/p>\n<p>Dans le cadre de l&rsquo;estimation par les moindres carr\u00e9s, la singularit\u00e9 se manifeste lorsque la matrice <em>X&rsquo;X<\/em>, de dimension <em>(p &times; p)<\/em>, est de rang d\u00e9ficient. Cela implique que son rang alg\u00e9brique <em>rg(X&rsquo;X)<\/em>, qui est \u00e9gal au rang de <em>X<\/em>, est strictement inf\u00e9rieur au nombre de pr\u00e9dicteurs <em>p<\/em> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>rg(X&rsquo;X) = rg(X) = k &lt; p<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Cet effondrement du rang d\u00e9note l&rsquo;existence d&rsquo;au moins un vecteur non nul <em>v &ne; 0<\/em> appartenant \u00e0 l&rsquo;espace nul (ou noyau) de la matrice <em>X<\/em>, v\u00e9rifiant l&rsquo;\u00e9galit\u00e9 exacte<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>X v = 0<\/em><\/span><\/p>\n<p>Dans cette situation, au moins une variable pr\u00e9dictive est une combinaison lin\u00e9aire rigoureusement exacte d&rsquo;autres colonnes de la matrice. La singularit\u00e9 ne rel\u00e8ve pas d&rsquo;une intensit\u00e9 statistique ou d&rsquo;une difficult\u00e9 d&rsquo;\u00e9chantillonnage graduelle ; elle consacre une impossibilit\u00e9 alg\u00e9brique pure qui prive la matrice de son inverse canonique et conduit \u00e0 une d\u00e9g\u00e9n\u00e9rescence de la solution du syst\u00e8me d&rsquo;\u00e9quations normales.<\/p>\n<h3>1.2 Origine de l&rsquo;amalgame dans la pratique empirique<\/h3>\n<p>L&rsquo;assimilation abusive de la singularit\u00e9 \u00e0 une simple multicolin\u00e9arit\u00e9 exacerb\u00e9e trouve ses racines dans la d\u00e9nomination historique introduite par l&rsquo;\u00e9conomiste norv\u00e9gien Ragnar Frisch en 1934. \u00c0 l&rsquo;origine, Frisch a forg\u00e9 le terme de \u00ab colin\u00e9arit\u00e9 multiple \u00bb pour d\u00e9crire la situation th\u00e9orique o\u00f9 les variables \u00e9conomiques \u00e9taient unies par des relations lin\u00e9aires exactes et non perturb\u00e9es par des bruits stochastiques. Avec l&rsquo;\u00e9volution de la discipline \u00e9conom\u00e9trique et la vulgarisation des travaux d&rsquo;auteurs fondamentaux tels que Farrar et Glauber \u00e0 la fin des ann\u00e9es 1960, l&rsquo;usage du terme \u00ab multicolin\u00e9arit\u00e9 \u00bb a gliss\u00e9 s\u00e9mantiquement pour d\u00e9signer quasi exclusivement la pr\u00e9sence de corr\u00e9lations imparfaites mais \u00e9lev\u00e9es entre r\u00e9gresseurs au sein d&rsquo;\u00e9chantillons finis. Ce glissement a laiss\u00e9 subsister une terminologie hybride, qualifiant la singularit\u00e9 de \u00ab multicolin\u00e9arit\u00e9 parfaite \u00bb et la colin\u00e9arit\u00e9 empirique de \u00ab multicolin\u00e9arit\u00e9 imparfaite \u00bb.<\/p>\n<p>Cette porosit\u00e9 lexicale a \u00e9t\u00e9 amplifi\u00e9e par le comportement et les interfaces des logiciels d&rsquo;analyse de donn\u00e9es (comme R, SAS, Stata, SPSS ou les biblioth\u00e8ques Python d\u00e9di\u00e9es comme Statsmodels et Scikit-Learn). Lorsqu&rsquo;un utilisateur tente d&rsquo;estimer un mod\u00e8le comportant des colonnes redondantes ou quasi-redondantes, les messages d&rsquo;avertissement et d&rsquo;erreur renvoy\u00e9s manquent souvent d&rsquo;uniformit\u00e9 conceptuelle. Certains syst\u00e8mes renvoient des alertes de type <em>\u00ab system is computationally singular: <span class=\"arabpsy-eq\" dir=\"ltr\">reciprocal condition number = 1e-18 \u00bb<\/em>, tandis que d&rsquo;autres mentionnent un <em>\u00ab rank-deficient fit \u00bb<\/em> ou proc\u00e8dent de mani\u00e8re discr\u00e9tionnaire \u00e0 l&rsquo;exclusion automatique de variables sous la mention <em>\u00ab omitted because of collinearity \u00bb<\/em>. Pour le praticien qui ne ma\u00eetrise pas l&rsquo;alg\u00e8bre sous-jacente aux routines LAPACK ou LINPACK, l&rsquo;apparition interchangeable de ces termes favorise l&rsquo;illusion d&rsquo;une pathologie unique qui ne diff\u00e9rerait que par son degr\u00e9 d&rsquo;intensit\u00e9<\/span>.<\/p>\n<p>De surcro\u00eet, l&rsquo;absence de distinction nette dans l&rsquo;enseignement appliqu\u00e9 entre l&rsquo;instabilit\u00e9 computationnelle (provoqu\u00e9e par les limites de pr\u00e9cision de l&rsquo;arithm\u00e9tique en virgule flottante) et l&rsquo;impossibilit\u00e9 th\u00e9orique (fond\u00e9e sur la th\u00e9orie des espaces vectoriels) obscurcit le d\u00e9bat. Une matrice math\u00e9matiquement inversible mais afflig\u00e9e d&rsquo;un d\u00e9terminant de l&rsquo;ordre de <em>10<sup>-17<\/sup><\/em> sera class\u00e9e comme num\u00e9riquement singuli\u00e8re par un ordinateur utilisant le standard de pr\u00e9cision IEEE 754, alors m\u00eame que, dans l&rsquo;univers abstrait des r\u00e9els, elle demeure r\u00e9guli\u00e8re. Cette fronti\u00e8re mouvante entre la physique du calcul binaire et les th\u00e9or\u00e8mes de l&rsquo;alg\u00e8bre lin\u00e9aire nourrit un amalgame constant sur le terrain empirique.<\/p>\n<h3>1.3 Importance critique pour l&rsquo;inversion matricielle et l&rsquo;estimation<\/h3>\n<p>L&rsquo;estimation des param\u00e8tres du mod\u00e8le lin\u00e9aire par le crit\u00e8re de minimisation de la somme des carr\u00e9s des r\u00e9sidus conduit aux \u00e9quations normales de Gauss :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>X&rsquo;X &beta; = X&rsquo;Y<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Ce syst\u00e8me d&rsquo;\u00e9quations constitue le pivot incontournable de l&rsquo;\u00e9conom\u00e9trie lin\u00e9aire. Si la matrice <em>X&rsquo;X<\/em> est de plein rang colonne, c&rsquo;est-\u00e0-dire si <em>rg(X) = p<\/em>, elle est non singuli\u00e8re et admet un inverse unique not\u00e9 <em>(X&rsquo;X)<sup>-1<\/sup><\/em>. La solution analytique s&rsquo;obtient alors de mani\u00e8re imm\u00e9diate et d\u00e9terministe via l&rsquo;op\u00e9rateur de projection<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>&beta;&#770;<sub>MCO<\/sub> = (X&rsquo;X)<sup>-1<\/sup> X&rsquo;Y<\/em><\/span><\/p>\n<p>L&rsquo;existence formelle de cet estimateur et ses propri\u00e9t\u00e9s optimales document\u00e9es par le th\u00e9or\u00e8me de Gauss-Markov (caract\u00e8re sans biais, efficacit\u00e9 \u00e0 variance minimale parmi la classe des estimateurs lin\u00e9aires sans biais, ou BLUE) reposent int\u00e9gralement sur la r\u00e9gularit\u00e9 de <em>X&rsquo;X<\/em>.<\/p>\n<p>Lorsque la structure des donn\u00e9es bascule vers la multicolin\u00e9arit\u00e9, le m\u00e9canisme d&rsquo;inversion demeure th\u00e9oriquement valide. L&rsquo;op\u00e9rateur <em>(X&rsquo;X)<sup>-1<\/sup><\/em> existe rigoureusement au sens analytique. Toutefois, la quasi-d\u00e9pendance lin\u00e9aire a pour cons\u00e9quence directe de rapprocher le d\u00e9terminant de <em>X&rsquo;X<\/em> de z\u00e9ro, ce qui propulse les \u00e9l\u00e9ments diagonaux de la matrice inverse <em>(X&rsquo;X)<sup>-1<\/sup><\/em> vers des valeurs gigantesques. Comme la matrice de variance-covariance de l&rsquo;estimateur des MCO est donn\u00e9e par :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>Var(&beta;&#770;) = &sigma;\u00b2 (X&rsquo;X)<sup>-1<\/sup><\/em><\/span><\/p>\n<p>cette situation induit une explosion de la variance d&rsquo;\u00e9chantillonnage des coefficients associ\u00e9s aux r\u00e9gresseurs colin\u00e9aires. L&rsquo;inversion n&rsquo;est pas entrav\u00e9e sur le plan math\u00e9matique pur, mais l&rsquo;information statistique transmise par les donn\u00e9es est trop diffuse pour isoler pr\u00e9cis\u00e9ment l&rsquo;impact marginal de chaque variable.<\/p>\n<p>En pr\u00e9sence d&rsquo;une singularit\u00e9 stricte, en revanche, le processus analytique subit une rupture cat\u00e9gorique. Le d\u00e9terminant \u00e9tant nul, la matrice <em>X&rsquo;X<\/em> ne poss\u00e8de aucun inverse au sens de Cramer. Il n&rsquo;existe pas d&rsquo;op\u00e9rateur lin\u00e9aire univoque permettant d&rsquo;isoler <em>&beta;<\/em> dans le syst\u00e8me des \u00e9quations normales. Le syst\u00e8me admet alors soit aucune solution (dans des contextes incompatibles hors de la projection des MCO), soit une infinit\u00e9 de vecteurs solutions minimisant identiquement la somme des r\u00e9sidus au carr\u00e9. Les param\u00e8tres du mod\u00e8le cessent d&rsquo;\u00eatre identifiables. La d\u00e9faillance n&rsquo;est plus une question de bruit statistique ou d&rsquo;impr\u00e9cision d&rsquo;\u00e9chantillon : elle traduit l&rsquo;incapacit\u00e9 absolue de d\u00e9partager math\u00e9matiquement les r\u00f4les respectifs des variables au sein du sous-espace lin\u00e9aire dans lequel elles sont confin\u00e9es.<\/p>\n<h2>2. Comprendre la multicolin\u00e9arit\u00e9 : nature, causes et implications statistiques<\/h2>\n<h3>2.1 D\u00e9finition formelle et spectre de la multicolin\u00e9arit\u00e9<\/h3>\n<p>Sur le plan g\u00e9om\u00e9trique, l&rsquo;espace des donn\u00e9es peut \u00eatre conceptualis\u00e9 au sein d&rsquo;un univers euclidien \u00e0 <em>n<\/em> dimensions, o\u00f9 chaque variable explicative constitue un vecteur colonne <em>X<sub>j<\/sub> &isin; &real;<sup>n<\/sup><\/em> pour <em>j &isin; {1, &#8230;, p}<\/em>. La multicolin\u00e9arit\u00e9 traduit le resserrement des angles form\u00e9s par ces diff\u00e9rents vecteurs colonnes une fois centr\u00e9s sur leur moyenne. Le cosinus de l&rsquo;angle <em>&theta;<sub>jk<\/sub><\/em> s\u00e9parant deux r\u00e9gresseurs centr\u00e9s <em>x&#771;<sub>j<\/sub><\/em> et <em>x&#771;<sub>k<\/sub><\/em> est rigoureusement \u00e9quivalent au coefficient de corr\u00e9lation lin\u00e9aire de Pearson :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>cos(&theta;<sub>jk<\/sub>) = (x&#771;<sub>j<\/sub>&lsquo; x&#771;<sub>k<\/sub>) \/ ( ||x&#771;<sub>j<\/sub>|| &times; ||x&#771;<sub>k<\/sub>|| ) = r<sub>jk<\/sub><\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Lorsque deux vecteurs sont parfaitement orthogonaux, leur produit scalaire est nul et <em>cos(&theta;) = 0<\/em>, ce qui mat\u00e9rialise l&rsquo;absence totale de corr\u00e9lation lin\u00e9aire. \u00c0 mesure que l&rsquo;angle <em>&theta;<\/em> tend vers 0 ou vers &pi; radians (180 degr\u00e9s), la corr\u00e9lation s&rsquo;approche de 1 ou de -1, traduisant une proximit\u00e9 directionnelle extr\u00eame au sein du sous-espace vectoriel<\/span>.<\/p>\n<p>Toutefois, la multicolin\u00e9arit\u00e9 ne se restreint nullement \u00e0 la simple corr\u00e9lation bivari\u00e9e entre deux r\u00e9gresseurs pris isol\u00e9ment. Elle englobe l&rsquo;ensemble des configurations multidimensionnelles o\u00f9 une variable <em>X<sub>j<\/sub><\/em> pr\u00e9sente une corr\u00e9lation multiple \u00e9lev\u00e9e avec un sous-ensemble constitu\u00e9 de plusieurs autres r\u00e9gresseurs <em>X<sub>-j<\/sub><\/em>. Cette d\u00e9pendance se mesure au travers du coefficient de d\u00e9termination <em>R<sub>j<\/sub>\u00b2<\/em> issu de la r\u00e9gression auxiliaire de la variable <em>X<sub>j<\/sub><\/em> sur toutes les autres variables pr\u00e9dictives du mod\u00e8le :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>X<sub>j<\/sub> = &alpha;<sub>0<\/sub> + &sum;<sub>k &ne; j<\/sub> &alpha;<sub>k<\/sub> X<sub>k<\/sub> + u<sub>j<\/sub><\/em><\/span><\/p>\n<p>Il est imp\u00e9ratif d&rsquo;op\u00e9rer une dichotomie entre deux typologies de multicolin\u00e9arit\u00e9 :<\/p>\n<ul>\n<li><strong>La multicolin\u00e9arit\u00e9 naturelle (ou structurelle aux donn\u00e9es) :<\/strong> Elle d\u00e9coule des caract\u00e9ristiques intrins\u00e8ques des ph\u00e9nom\u00e8nes physiques, biologiques, sociaux ou \u00e9conomiques sous observation. Les grandeurs mesur\u00e9es \u00e9voluent de mani\u00e8re conjointe sous l&rsquo;effet de tendances macroscopiques, de r\u00e9gulations physiologiques ou d&rsquo;\u00e9quilibres institutionnels impossibles \u00e0 disjoindre lors de la collecte.<\/li>\n<li><strong>La multicolin\u00e9arit\u00e9 induite (ou artificielle) :<\/strong> Elle r\u00e9sulte directement des choix de mod\u00e9lisation op\u00e9r\u00e9s par l&rsquo;analyste lors de l&rsquo;\u00e9tape d&rsquo;ing\u00e9nierie des variables. L&rsquo;introduction de puissances polynomiales d&rsquo;une m\u00eame variable (par exemple <em>x<\/em>, <em>x\u00b2<\/em>, <em>x\u00b3<\/em>) ou de termes d&rsquo;interactions multiplicatifs (<em>x<sub>1<\/sub> &times; x<sub>2<\/sub><\/em>) sans centrage pr\u00e9alable des covariables g\u00e9n\u00e8re m\u00e9caniquement une multicolin\u00e9arit\u00e9 artificielle tr\u00e8s prononc\u00e9e.<\/li>\n<\/ul>\n<p>L&rsquo;intensit\u00e9 de la multicolin\u00e9arit\u00e9 s&rsquo;\u00e9value ainsi sur un spectre continu : elle s&rsquo;\u00e9tend depuis l&rsquo;orthogonalit\u00e9 id\u00e9ale (cas rarissime rencontr\u00e9 principalement dans les plans d&rsquo;exp\u00e9riences factoriels contr\u00f4l\u00e9s en laboratoire) jusqu&rsquo;\u00e0 une quasi-d\u00e9pendance critique, seuil au-del\u00e0 duquel l&rsquo;incertitude inf\u00e9rentielle submerge le signal informatif.<\/p>\n<h3>2.2 \u00c9tiologie et sources empiriques<\/h3>\n<p>L&rsquo;\u00e9mergence d&rsquo;une multicolin\u00e9arit\u00e9 marqu\u00e9e dans les donn\u00e9es observationnelles proc\u00e8de de multiples m\u00e9canismes g\u00e9n\u00e9rateurs qu&rsquo;il convient de r\u00e9pertorier pour mieux en appr\u00e9hender la port\u00e9e.<\/p>\n<p>En premier lieu, les biais d&rsquo;\u00e9chantillonnage et les plans d&rsquo;observation restreints constituent une source majeure de colin\u00e9arit\u00e9 empirique. Lorsqu&rsquo;un chercheur pr\u00e9l\u00e8ve un \u00e9chantillon qui ne balaie pas l&rsquo;ensemble de l&rsquo;espace th\u00e9orique des covariables, il contraint artificiellement les pr\u00e9dicteurs \u00e0 fluctuer de concert. Par exemple, si l&rsquo;on \u00e9tudie l&rsquo;impact du revenu et du niveau de dipl\u00f4me sur le comportement d&rsquo;\u00e9pargne en restreignant l&rsquo;\u00e9chantillon \u00e0 une cohorte de cadres sup\u00e9rieurs urbains, les variations de revenus et de niveaux d&rsquo;\u00e9tudes seront excessivement corr\u00e9l\u00e9es, alors qu&rsquo;une stratification plus large sur l&rsquo;ensemble du territoire et des cat\u00e9gories socio-professionnelles permettrait d&rsquo;observer des dissociations substantielles entre ces deux grandeurs.<\/p>\n<p>En deuxi\u00e8me lieu, la surparam\u00e9trisation relative par rapport aux dynamiques sous-jacentes engendre des d\u00e9pendances massives. En \u00e9conomie, en finance ou en \u00e9cologie, les s\u00e9ries temporelles sont souvent dict\u00e9es par des facteurs de co-mouvement : la croissance du produit int\u00e9rieur brut, l&rsquo;indice des prix \u00e0 la consommation, la masse mon\u00e9taire, les d\u00e9penses d&rsquo;investissement des entreprises et les taux d&rsquo;int\u00e9r\u00eat directeurs r\u00e9agissent de mani\u00e8re synchrone aux cycles \u00e9conomiques. Int\u00e9grer conjointement l&rsquo;ensemble de ces indicateurs macro\u00e9conomiques dans un mod\u00e8le explicatif de la rentabilit\u00e9 sectorielle sans transformation pr\u00e9alable (comme la diff\u00e9renciation premi\u00e8re ou l&rsquo;extraction de composantes d\u00e9corr\u00e9l\u00e9es) confronte in\u00e9vitablement l&rsquo;estimateur \u00e0 des profils temporels quasi-identiques.<\/p>\n<p>En troisi\u00e8me lieu, les erreurs de sp\u00e9cification conceptuelle traduisent fr\u00e9quemment le recours simultan\u00e9 \u00e0 plusieurs variables proxies cens\u00e9es capturer un m\u00eame construit latent inobservable. Dans les enqu\u00eates de sant\u00e9 publique ou de sociologie quantitative, inclure conjointement dans une m\u00eame r\u00e9gression le score global de d\u00e9pression, l&rsquo;indice de d\u00e9tresse psychologique et l&rsquo;\u00e9chelle d&rsquo;anxi\u00e9t\u00e9 per\u00e7ue revient \u00e0 soumettre au mod\u00e8le trois mesures bruit\u00e9es d&rsquo;un \u00e9tat psychique unifi\u00e9. L&rsquo;analyste s&rsquo;expose alors \u00e0 une forte colin\u00e9arit\u00e9, imputable non \u00e0 une loi math\u00e9matique sous-jacente, mais \u00e0 la redondance substantielle des instruments de mesure psychom\u00e9triques employ\u00e9s.<\/p>\n<h3>2.3 Cons\u00e9quences \u00e9conom\u00e9triques et inf\u00e9rentielles<\/h3>\n<p>La pr\u00e9sence d&rsquo;une multicolin\u00e9arit\u00e9 prononc\u00e9e engendre des perturbations majeures dans l&rsquo;appareil inf\u00e9rentiel des moindres carr\u00e9s, tout en pr\u00e9servant formellement certaines garanties asymptotiques fondamentales. Il est crucial d&rsquo;\u00e9tablir ce qui est alt\u00e9r\u00e9 et ce qui demeure intact.<\/p>\n<p>Sous les hypoth\u00e8ses classiques du th\u00e9or\u00e8me de Gauss-Markov, l&rsquo;estimateur des MCO demeure <strong>sans biais<\/strong> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>E(&beta;&#770;) = &beta;<\/em><\/span><\/p>\n<p>De surcro\u00eet, il conserve sa qualification d&rsquo;estimateur BLUE : aucun autre estimateur lin\u00e9aire sans biais n&rsquo;offre une variance inf\u00e9rieure. Toutefois, cette optimalit\u00e9 relative s&rsquo;av\u00e8re illusoire si la variance de base est elle-m\u00eame d\u00e9mesur\u00e9e. Pour un coefficient individuel <em>&beta;&#770;<sub>j<\/sub><\/em>, la variance d&rsquo;\u00e9chantillonnage s&rsquo;exprime selon la formule canonique :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>Var(&beta;&#770;<sub>j<\/sub>) = [ &sigma;\u00b2 \/ ( (n &#8211; 1) &times; s<sub>j<\/sub>\u00b2 ) ] &times; [ 1 \/ (1 &#8211; R<sub>j<\/sub>\u00b2) ]<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">o\u00f9 <em>s<sub>j<\/sub>\u00b2<\/em> repr\u00e9sente la variance empirique de la variable <em>X<sub>j<\/sub><\/em>, et <em>R<sub>j<\/sub>\u00b2<\/em> est le coefficient de d\u00e9termination issu de la r\u00e9gression de <em>X<sub>j<\/sub><\/em> sur tous les autres r\u00e9gresseurs. Lorsque <em>R<sub>j<\/sub>\u00b2<\/em> s&rsquo;approche de l&rsquo;unit\u00e9, le terme <em>1 \/ (1 &#8211; R<sub>j<\/sub>\u00b2)<\/em> &mdash; d\u00e9sign\u00e9 sous le nom de facteur d&rsquo;inflation de la variance &mdash; diverge vers des valeurs tr\u00e8s \u00e9lev\u00e9es. L&rsquo;\u00e9cart-type de l&rsquo;estimateur <em>SE(&beta;&#770;<sub>j<\/sub>) = &radic;(Var(&beta;&#770;<sub>j<\/sub>))<\/em> subit alors une dilatation spectaculaire<\/span>.<\/p>\n<p>Cette inflation de la variance d&rsquo;\u00e9chantillonnage induit des cons\u00e9quences directes sur les tests d&rsquo;hypoth\u00e8ses :<\/p>\n<ul>\n<li><span class=\"arabpsy-eq\" dir=\"ltr\"><strong>Effondrement de la puissance statistique des tests t de Student :<\/strong> La statistique de test <em>t = &beta;&#770;<sub>j<\/sub> \/ SE(&beta;&#770;<sub>j<\/sub>)<\/em> voit son d\u00e9nominateur gonfler artificiellement. Il en r\u00e9sulte un effondrement de la valeur empirique du test, conduisant fr\u00e9quemment \u00e0 la non-rejet de l&rsquo;hypoth\u00e8se nulle <em>H<sub>0<\/sub>: &beta;<sub>j<\/sub> = 0<\/em>. L&rsquo;analyste commet alors une erreur de type II (faux n\u00e9gatif), concluant \u00e0 l&rsquo;absence d&rsquo;effet d&rsquo;une variable qui poss\u00e8de pourtant un impact structurel r\u00e9el au sein de la population<\/span>.<\/li>\n<li><strong>Paradoxe du test global de Fisher :<\/strong> Le mod\u00e8le affiche simultan\u00e9ment un coefficient de d\u00e9termination global <em>R\u00b2<\/em> \u00e9lev\u00e9 et une statistique de Fisher globale <em>F<\/em> hautement significative (rejetant massivement l&rsquo;hypoth\u00e8se nulle conjointe selon laquelle tous les coefficients sont nuls), tandis qu&rsquo;aucun ou tr\u00e8s peu de coefficients de r\u00e9gression individuels ne ressortent significatifs via leurs tests de Student respectifs. Cette discordance constitue l&rsquo;un des sympt\u00f4mes les plus r\u00e9v\u00e9lateurs de la multicolin\u00e9arit\u00e9.<\/li>\n<li><strong>Instabilit\u00e9 num\u00e9rique et hypersensibilit\u00e9 des coefficients :<\/strong> Les estimations ponctuelles <em>&beta;&#770;<sub>j<\/sub><\/em> deviennent tributaires de variations minimes de l&rsquo;\u00e9chantillon. L&rsquo;ajout, le retrait ou la modification mineure de quelques observations peut provoquer des variations massives de l&rsquo;amplitude des coefficients, voire des renversements intempestifs de signes. Un r\u00e9gresseur dont l&rsquo;impact attendu sur le plan th\u00e9orique est indubitablement positif peut ainsi se voir attribuer un coefficient n\u00e9gatif, cr\u00e9ant une aporie d&rsquo;interpr\u00e9tation causale.<\/li>\n<li><strong>Covariance crois\u00e9e \u00e9lev\u00e9e entre estimateurs :<\/strong> Les erreurs d&rsquo;estimation sur les coefficients colin\u00e9aires deviennent fortement d\u00e9pendantes l&rsquo;une de l&rsquo;autre. La matrice de covariance hors-diagonale r\u00e9v\u00e8le des covariances n\u00e9gatives imposantes, traduisant le fait que toute surestimation de l&rsquo;effet d&rsquo;une variable colin\u00e9aire <em>X<sub>1<\/sub><\/em> est m\u00e9caniquement compens\u00e9e par une sous-estimation sym\u00e9trique de l&rsquo;effet de sa partenaire colin\u00e9aire <em>X<sub>2<\/sub><\/em>.<\/li>\n<\/ul>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">N\u00e9anmoins, il est fondamental de souligner que la performance pr\u00e9dictive globale du mod\u00e8le n&rsquo;est nullement annihil\u00e9e par la multicolin\u00e9arit\u00e9. Si l&rsquo;objectif exclusif de la mod\u00e9lisation r\u00e9side dans la pr\u00e9diction de la variable r\u00e9ponse <em>Y<\/em> pour de nouvelles observations dont la structure de corr\u00e9lation interne demeure strictement identique \u00e0 celle de l&rsquo;\u00e9chantillon d&rsquo;apprentissage, le mod\u00e8le conserve toute sa validit\u00e9 op\u00e9rationnelle. L&rsquo;agr\u00e9gat pr\u00e9dictif <em>Y&#770; = X &beta;&#770;<\/em> demeure stable car il est projet\u00e9 sur le sous-espace stable engendr\u00e9 par <em>X<\/em>, m\u00eame si les coordonn\u00e9es individuelles de cette projection le long de chaque axe de coordonn\u00e9es (les coefficients <em>&beta;&#770;<sub>j<\/sub><\/em>) sont sujettes \u00e0 une incertitude majeure<\/span>.<\/p>\n<h3>2.4 Outils de d\u00e9tection diagnostique<\/h3>\n<p>Le diagnostic rigoureux de la multicolin\u00e9arit\u00e9 repose sur un ensemble d&rsquo;indicateurs quantitatifs qui transcendent la simple lecture des matrices de corr\u00e9lation bivari\u00e9es.<\/p>\n<p>La m\u00e9trique la plus couramment mobilis\u00e9e dans la pratique appliqu\u00e9e est le <strong>Facteur d&rsquo;Inflation de la Variance (VIF)<\/strong>, coupl\u00e9 \u00e0 son compl\u00e9mentaire direct, la <strong>Tol\u00e9rance<\/strong> (not\u00e9e <em>Tol<sub>j<\/sub><\/em>) :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>VIF<sub>j<\/sub> = 1 \/ (1 &#8211; R<sub>j<\/sub>\u00b2)<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>Tol<sub>j<\/sub> = 1 \/ VIF<sub>j<\/sub> = 1 &#8211; R<sub>j<\/sub>\u00b2<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Le VIF mesure directement le coefficient multiplicateur appliqu\u00e9 \u00e0 la variance d&rsquo;\u00e9chantillonnage de <em>&beta;&#770;<sub>j<\/sub><\/em> par rapport \u00e0 ce qu&rsquo;elle aurait \u00e9t\u00e9 si la variable <em>X<sub>j<\/sub><\/em> \u00e9tait totalement orthogonale \u00e0 l&rsquo;ensemble des autres r\u00e9gresseurs. En l&rsquo;absence compl\u00e8te de corr\u00e9lation (<em>R<sub>j<\/sub>\u00b2 = 0<\/em>), <em>VIF<sub>j<\/sub> = 1<\/em>. Les conventions \u00e9conom\u00e9triques usuelles fixent g\u00e9n\u00e9ralement un seuil d&rsquo;alerte \u00e0 <em>VIF &gt; 5<\/em> (indiquant que 80 % de la variance de la variable est expliqu\u00e9e par les autres r\u00e9gresseurs), et un seuil critique d&rsquo;intol\u00e9rance m\u00e9thodologique \u00e0 <em>VIF &gt; 10<\/em> (correspondant \u00e0 un <em>R<sub>j<\/sub>\u00b2 &gt; 0,90<\/em>, soit une variance d&rsquo;\u00e9chantillonnage multipli\u00e9e par dix). Certains domaines exigeant une pr\u00e9cision extr\u00eame, comme la mod\u00e9lisation pharmacocin\u00e9tique ou l&rsquo;\u00e9valuation d&rsquo;actifs financiers, abaissent ce seuil de tol\u00e9rance \u00e0 2,5 voire 3<\/span>.<\/p>\n<p>Toutefois, le VIF pr\u00e9sente une faille conceptuelle notable : <span class=\"arabpsy-eq\" dir=\"ltr\">il diagnostique la pr\u00e9sence d&rsquo;une redondance affectant une variable donn\u00e9e sans identifier formellement le nombre de relations colin\u00e9aires distinctes qui coexistent au sein du mod\u00e8le, ni les combinaisons pr\u00e9cises de variables impliqu\u00e9es. Pour pallier cette lacune, l&rsquo;approche spectrale d\u00e9velopp\u00e9e par David Belsley, Edwin Kuh et Roy Welsch (1980) constitue l&rsquo;\u00e9talon-or du diagnostic approfondi. Cette m\u00e9thode s&rsquo;articule autour de la <strong>d\u00e9composition en valeurs singuli\u00e8res (SVD)<\/strong> de la matrice des r\u00e9gresseurs pr\u00e9alablement mise \u00e0 l&rsquo;\u00e9chelle (colonnes de norme unitaire). Soit <em>&mu;<sub>1<\/sub> &ge; &mu;<sub>2<\/sub> &ge; &#8230; &ge; &mu;<sub>p<\/sub><\/em> les valeurs singuli\u00e8res de cette matrice. Les <strong>indices de conditionnement<\/strong> <em>&eta;<sub>k<\/sub><\/em> sont d\u00e9finis par le ratio<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>&eta;<sub>k<\/sub> = &mu;<sub>max<\/sub> \/ &mu;<sub>k<\/sub> = &mu;<sub>1<\/sub> \/ &mu;<sub>k<\/sub><\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Le plus grand de ces indices, <em>&kappa; = &mu;<sub>1<\/sub> \/ &mu;<sub>p<\/sub><\/em>, repr\u00e9sente le nombre de conditionnement global de la matrice. Selon les r\u00e8gles empiriques \u00e9tablies par Belsley, Kuh et Welsch<\/span> :<\/p>\n<ul>\n<li>Un indice de conditionnement compris entre 10 et 30 d\u00e9note une colin\u00e9arit\u00e9 mod\u00e9r\u00e9e \u00e0 forte.<\/li>\n<li>Un indice exc\u00e9dant 30 signale une colin\u00e9arit\u00e9 s\u00e9v\u00e8re \u00e0 critique, susceptible de corrompre gravement les calculs matriciels et l&rsquo;inf\u00e9rence.<\/li>\n<\/ul>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Cette analyse spectrale est syst\u00e9matiquement compl\u00e9t\u00e9e par l&rsquo;examen de la table de <strong>d\u00e9composition des proportions de variance<\/strong>. Cette proc\u00e9dure d\u00e9compose la variance de chaque coefficient de r\u00e9gression le long des diff\u00e9rentes composantes singuli\u00e8res associ\u00e9es aux valeurs singuli\u00e8res <em>&mu;<sub>k<\/sub><\/em>. Une d\u00e9pendance lin\u00e9aire probl\u00e9matique est formellement diagnostiqu\u00e9e lorsqu&rsquo;une composante singuli\u00e8re caract\u00e9ris\u00e9e par un indice de conditionnement \u00e9lev\u00e9 (par exemple <em>&eta;<sub>k<\/sub> &gt; 30<\/em>) explique simultan\u00e9ment une proportion substantielle (sup\u00e9rieure \u00e0 50 %, soit 0,5) de la variance d&rsquo;au moins deux coefficients de r\u00e9gression distincts. Cette m\u00e9thodologie permet d&rsquo;isoler avec une rigueur analytique absolue les sous-ensembles pr\u00e9cis de variables qui s&rsquo;agr\u00e8gent mutuellement au d\u00e9triment de l&rsquo;inversion<\/span>.<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Enfin, l&rsquo;examen isol\u00e9 de la matrice de corr\u00e9lation bivari\u00e9e de Pearson &mdash; bien que constituant le r\u00e9flexe initial le plus r\u00e9pandu &mdash; s&rsquo;av\u00e8re tristement insuffisant. Deux r\u00e9gresseurs peuvent afficher un coefficient de corr\u00e9lation modeste (par exemple <em>r = 0,35<\/em>), tandis qu&rsquo;un groupe de trois ou quatre variables prises collectivement forme un faisceau hyperplan presque parfait. Se focaliser uniquement sur les corr\u00e9lations bivari\u00e9es engendre des faux n\u00e9gatifs diagnostiques patents<\/span>.<\/p>\n<h2>3. Comprendre la singularit\u00e9 matricielle : fondements alg\u00e9briques et rupture computationnelle<\/h2>\n<h3>3.1 D\u00e9finition math\u00e9matique et rang de la matrice<\/h3>\n<p>La singularit\u00e9 matricielle n&rsquo;est pas une question d&rsquo;approximation statistique ou d&rsquo;instabilit\u00e9 locale : elle consacre une propri\u00e9t\u00e9 alg\u00e9brique d\u00e9terministe et binaire. Une matrice carr\u00e9e <em>A &isin; &real;<sup>p &times; p<\/sup><\/em> est dite <strong>singuli\u00e8re<\/strong> si et seulement si l&rsquo;une des propositions \u00e9quivalentes suivantes est v\u00e9rifi\u00e9e :<\/p>\n<ul>\n<li>Le d\u00e9terminant de <em>A<\/em> est rigoureusement nul : <span class=\"arabpsy-eq\" dir=\"ltr\"><em>det(A) = 0<\/em><\/span>.<\/li>\n<li>La matrice <em>A<\/em> n&rsquo;est pas inversible : <span class=\"arabpsy-eq\" dir=\"ltr\">il n&rsquo;existe aucune matrice <em>B<\/em> telle que <em>A B = B A = I<sub>p<\/sub><\/em><\/span>.<\/li>\n<li>Le rang de la matrice est strictement inf\u00e9rieur \u00e0 sa dimension : <span class=\"arabpsy-eq\" dir=\"ltr\"><em>rg(A) &lt; p<\/em><\/span>.<\/li>\n<li>Le noyau de la matrice contient des vecteurs non nuls : <span class=\"arabpsy-eq\" dir=\"ltr\"><em>ker(A) &ne; {0}<\/em><\/span>.<\/li>\n<li>Le spectre matriciel de <em>A<\/em> contient au moins une valeur propre exactement \u00e9gale \u00e0 z\u00e9ro : <span class=\"arabpsy-eq\" dir=\"ltr\"><em>&exist; &lambda;<sub>i<\/sub> = 0<\/em><\/span>.<\/li>\n<\/ul>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Dans le contexte de la r\u00e9gression par moindres carr\u00e9s, la matrice soumise \u00e0 l&rsquo;inversion est le produit crois\u00e9 <em>A = X&rsquo;X<\/em>, de dimensions <em>(p &times; p)<\/em>. En vertu du th\u00e9or\u00e8me du rang et des propri\u00e9t\u00e9s fondamentales de l&rsquo;alg\u00e8bre lin\u00e9aire relative aux matrices de Gram, le rang du produit <em>X&rsquo;X<\/em> est rigoureusement \u00e9gal au rang de la matrice de conception <em>X<\/em> elle-m\u00eame<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>rg(X&rsquo;X) = rg(X)<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Pour que la matrice <em>X&rsquo;X<\/em> soit r\u00e9guli\u00e8re et inversible, il est imp\u00e9ratif que <em>X<\/em> soit de plein rang colonne, ce qui exige que <em>rg(X) = p<\/em>. Lorsque cette condition n&rsquo;est pas remplie, la matrice pr\u00e9sente une d\u00e9ficience de rang (<em>rank deficiency<\/em>). Soit <em>k = rg(X) &lt; p<\/em>. La dimension du noyau de <em>X<\/em> (la nullit\u00e9) est donn\u00e9e par le th\u00e9or\u00e8me fondamental de l&rsquo;alg\u00e8bre<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>dim(ker(X)) = p &#8211; rg(X) = p &#8211; k &ge; 1<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Il existe par cons\u00e9quent au moins un vecteur non nul <em>c = [c<sub>1<\/sub>, c<sub>2<\/sub>, &#8230;, c<sub>p<\/sub>]&rsquo; &ne; 0<\/em> tel que<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>X c = &sum;<sub>j=1<\/sub><sup>p<\/sup> c<sub>j<\/sub> X<sub>j<\/sub> = 0<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Cette relation traduit l&rsquo;exacte superposition d&rsquo;au moins une des colonnes de <em>X<\/em> sur le sous-espace vectoriel engendr\u00e9 par les autres colonnes. D\u00e8s cet instant, le syst\u00e8me des \u00e9quations normales <em>X&rsquo;X &beta; = X&rsquo;Y<\/em> ne poss\u00e8de plus de point focal unique. Puisque <em>X&rsquo;X<\/em> est semi-d\u00e9finie positive avec des valeurs propres nulles, la fonctionnelle objectif de perte quadratique <em>S(&beta;) = ||Y &#8211; X&beta;||\u00b2<\/em> n&rsquo;admet plus un minimum strict mat\u00e9rialis\u00e9 par un parabolo\u00efde de r\u00e9volution, mais un \u00ab fond de vall\u00e9e plat \u00bb ou un profil en goutti\u00e8re multidimensionnel. L&rsquo;ensemble des minima forme une vari\u00e9t\u00e9 affine de dimension <em>p &#8211; k<\/em>. Il existe alors une infinit\u00e9 ind\u00e9nombrable de vecteurs <em>&beta;&#770;<\/em> r\u00e9alisant la minimisation exacte de la somme des carr\u00e9s des r\u00e9sidus<\/span>.<\/p>\n<h3>3.2 M\u00e9canismes g\u00e9n\u00e9rateurs de la singularit\u00e9<\/h3>\n<p>Les sources menant \u00e0 une singularit\u00e9 matricielle se classent principalement en trois cat\u00e9gories techniques : les anomalies structurelles de codage des variables cat\u00e9gorielles, les identit\u00e9s arithm\u00e9tiques d\u00e9terministes, et les asym\u00e9tries dimensionnelles structurelles.<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Le cas le plus embl\u00e9matique de singularit\u00e9 induite par codage erron\u00e9 est le <strong>pi\u00e8ge des variables muettes (dummy variable trap)<\/strong>. Consid\u00e9rons une variable qualitative subdivis\u00e9e en <em>M<\/em> cat\u00e9gories exhaustives et mutuellement exclusives (par exemple, le statut matrimonial : c\u00e9libataire, mari\u00e9, divorc\u00e9, veuf ; soit <em>M = 4<\/em>). Si le mod\u00e9lisateur introduit dans la matrice <em>X<\/em> une variable indicatrice binaire pour chacune des <em>M<\/em> modalit\u00e9s tout en conservant simultan\u00e9ment le vecteur colonne unitaire <em>1<sub>n<\/sub><\/em> associ\u00e9 \u00e0 la constante (l&rsquo;intercepte), une d\u00e9pendance lin\u00e9aire rigoureuse \u00e9merge imm\u00e9diatement. En effet, par d\u00e9finition de l&rsquo;exhaustivit\u00e9 des cat\u00e9gories, chaque individu appartient \u00e0 une et une seule cat\u00e9gorie, ce qui impose<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>&sum;<sub>m=1<\/sub><sup>M<\/sup> D<sub>im<\/sub> = 1, &forall; i &isin; {1, &#8230;, n}<\/em><\/span><\/p>\n<p>En termes vectoriels, la somme des colonnes des indicatrices \u00e9quivaut point par point \u00e0 la colonne des constantes :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>D<sub>1<\/sub> + D<sub>2<\/sub> + &#8230; + D<sub>M<\/sub> &#8211; 1<sub>n<\/sub> = 0<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Le vecteur des coefficients <em>c = [1, 1, &#8230;, 1, -1]&rsquo;<\/em> appartient sans ambigu\u00eft\u00e9 au noyau de <em>X<\/em>, rendant instantan\u00e9ment <em>det(X&rsquo;X) = 0<\/em>. Pour restaurer l&rsquo;inversibilit\u00e9, il est obligatoire d&rsquo;omettre l&rsquo;une des modalit\u00e9s (la modalit\u00e9 de r\u00e9f\u00e9rence) ou de supprimer l&rsquo;intercepte du mod\u00e8le<\/span>.<\/p>\n<p>La deuxi\u00e8me source r\u00e9side dans l&rsquo;int\u00e9gration directe d&rsquo;<strong>identit\u00e9s arithm\u00e9tiques ou comptables<\/strong> au sein de l&rsquo;espace des r\u00e9gresseurs. Si une base de donn\u00e9es de gestion financi\u00e8re contient l&rsquo;actif circulant, l&rsquo;actif immobilis\u00e9 et le total de l&rsquo;actif, et que l&rsquo;analyste int\u00e8gre ces trois variables dans la r\u00e9gression sans s&rsquo;apercevoir que l&rsquo;actif total est la somme exacte des deux autres, la matrice de dispersion devient structurellement singuli\u00e8re. De mani\u00e8re similaire, l&rsquo;inclusion simultan\u00e9e de variables de composition exprim\u00e9es en pourcentages ou en proportions dont la somme est obligatoirement \u00e9gale \u00e0 100 % (composition sectorielle d&rsquo;un portefeuille, budget familial d\u00e9coup\u00e9 en postes exhaustifs, composition g\u00e9ologique d&rsquo;un s\u00e9diment) reproduit trait pour trait le pi\u00e8ge de la variable muette.<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">La troisi\u00e8me source &mdash; qui prend une ampleur d\u00e9terminante \u00e0 l&rsquo;\u00e8re du big data, de la g\u00e9nomique et du traitement automatique du langage naturel &mdash; r\u00e9side dans la configuration de <strong>grande dimensionnalit\u00e9<\/strong>, couramment formalis\u00e9e sous la notation <em>p &gt; n<\/em>. Lorsque le nombre de caract\u00e9ristiques mesur\u00e9es exc\u00e8de le volume de l&rsquo;\u00e9chantillon d&rsquo;observations (par exemple, l&rsquo;expression de 20 000 g\u00e8nes mesur\u00e9e sur seulement 150 patients), la matrice <em>X<\/em> est de dimensions <em>(n &times; p)<\/em> avec <em>n &lt; p<\/em>. Le rang d&rsquo;un produit matriciel \u00e9tant born\u00e9 par le rang minimal de ses facteurs<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>rg(X&rsquo;X) = rg(X) &le; min(n, p) = n &lt; p<\/em><\/span><\/p>\n<p>La matrice carr\u00e9e <em>X&rsquo;X<\/em>, bien que d&rsquo;ordre <em>p<\/em>, ne peut poss\u00e9der un rang sup\u00e9rieur \u00e0 <em>n<\/em>. Elle souffre obligatoirement d&rsquo;un d\u00e9ficit de rang d&rsquo;au moins <em>p &#8211; n<\/em>, ce qui ancre irr\u00e9m\u00e9diablement le syst\u00e8me dans la singularit\u00e9 absolue. Tout algorithme tentant d&rsquo;inverser directement cette matrice sans strat\u00e9gie de p\u00e9nalisation ou de r\u00e9duction de dimension \u00e9choue in\u00e9luctablement.<\/p>\n<h3>3.3 Cons\u00e9quences algorithmiques et computationnelles<\/h3>\n<p>L&rsquo;irruption d&rsquo;une singularit\u00e9 d\u00e9clenche une d\u00e9faillance imm\u00e9diate des algorithmes standards de r\u00e9solution num\u00e9rique impl\u00e9ment\u00e9s dans les moteurs de calcul matriciel.<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Les proc\u00e9dures directes classiques de r\u00e9solution de syst\u00e8mes lin\u00e9aires reposent sur la <strong>factorisation de Cholesky<\/strong> de la matrice <em>X&rsquo;X<\/em> (qui postule une matrice sym\u00e9trique d\u00e9finie positive <em>A = L L&rsquo;<\/em> o\u00f9 <em>L<\/em> est une matrice triangulaire inf\u00e9rieure \u00e0 \u00e9l\u00e9ments diagonaux strictement positifs) ou sur l&rsquo;<strong>\u00e9limination de Gauss-Jordan<\/strong>. Lors de l&rsquo;ex\u00e9cution de la d\u00e9composition de Cholesky sur une matrice singuli\u00e8re, l&rsquo;algorithme rencontre in\u00e9vitablement un pivot nul ou n\u00e9gatif lors du calcul de la racine carr\u00e9e d&rsquo;un \u00e9l\u00e9ment diagonal<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>L<sub>kk<\/sub> = &radic;( A<sub>kk<\/sub> &#8211; &sum;<sub>j=1<\/sub><sup>k-1<\/sup> L<sub>kj<\/sub>\u00b2 )<\/em><\/span><\/p>\n<p>L&rsquo;apparition d&rsquo;une quantit\u00e9 nulle sous le radical interdit l&rsquo;op\u00e9ration de division requise pour l&rsquo;\u00e9tape suivante, provoquant un arr\u00eat d&rsquo;ex\u00e9cution critique (une lev\u00e9e d&rsquo;exception machine du type <em>Matrix is not positive definite<\/em>).<\/p>\n<p>Face \u00e0 cette impasse structurelle, les logiciels de mod\u00e9lisation statistique avanc\u00e9s d\u00e9laissent l&rsquo;inversion directe de <em>X&rsquo;X<\/em> au profit de m\u00e9thodes de d\u00e9composition orthogonale appliqu\u00e9es directement \u00e0 la matrice <em>X<\/em>, telles que la <strong>d\u00e9composition QR avec permutation de colonnes (pivoting)<\/strong> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>X P = Q R<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">o\u00f9 <em>P<\/em> est une matrice de permutation, <em>Q<\/em> est une matrice orthogonale de dimension <em>(n &times; n)<\/em> v\u00e9rifiant <em>Q&rsquo;Q = I<\/em>, et <em>R<\/em> est une matrice trap\u00e9zo\u00efdale sup\u00e9rieure de dimension <em>(n &times; p)<\/em>. Lorsque la matrice <em>X<\/em> est d\u00e9ficiente en rang (<em>rg(X) = k &lt; p<\/em>), la permutation place les <em>k<\/em> colonnes lin\u00e9airement ind\u00e9pendantes en t\u00eate, de sorte que les <em>p &#8211; k<\/em> derni\u00e8res lignes de la matrice <em>R<\/em> sont rigoureusement remplies de z\u00e9ros. Les environnements comme le logiciel R exploitent cette propri\u00e9t\u00e9 pour forcer la r\u00e9solution : ils identifient les colonnes surnum\u00e9raires associ\u00e9es aux pivots nuls de <em>R<\/em>, les \u00e9tiquettent comme <em>aliased<\/em> (redondantes), et les excluent d&rsquo;office de l&rsquo;estimation en attribuant la valeur<\/span> <code>NA<\/code> aux coefficients correspondants. Dans Stata, la commande <code>regress<\/code> proc\u00e8de \u00e0 une \u00e9limination s\u00e9quentielle similaire en consignant la mention <em>\u00ab (omitted) \u00bb<\/em> \u00e0 c\u00f4t\u00e9 des r\u00e9gresseurs exc\u00e9dentaires.<\/p>\n<p>Sur le plan statistique pur, la cons\u00e9quence fondamentale de cette \u00e9limination logicielle forc\u00e9e est la <strong>non-identifiabilit\u00e9 des param\u00e8tres<\/strong>. Le mod\u00e8le initialement pos\u00e9 ne poss\u00e8de aucune signification univoque. La valeur num\u00e9rique attribu\u00e9e aux coefficients conserv\u00e9s d\u00e9pend enti\u00e8rement de l&rsquo;ordre d&rsquo;entr\u00e9e des variables dans le tableau de donn\u00e9es ou de l&rsquo;heuristique de pivotage employ\u00e9e par le solveur. La significativit\u00e9 et l&rsquo;amplitude des param\u00e8tres estim\u00e9s deviennent des artefacts de calcul d\u00e9nu\u00e9s de toute validit\u00e9 causale tant qu&rsquo;une contrainte d&rsquo;identification a priori n&rsquo;a pas \u00e9t\u00e9 explicitement formul\u00e9e par le mod\u00e9lisateur.<\/p>\n<h3>3.4 Approches d&rsquo;\u00e9valuation et crit\u00e8res alg\u00e9briques<\/h3>\n<p>Contrairement au diagnostic de la multicolin\u00e9arit\u00e9 qui jauge une graduation empirique, l&rsquo;identification de la singularit\u00e9 fait appel \u00e0 des crit\u00e8res de d\u00e9cision alg\u00e9briques binaires.<\/p>\n<p>L&rsquo;outil d&rsquo;\u00e9valuation le plus complet est la <strong>d\u00e9composition en valeurs singuli\u00e8res (SVD)<\/strong>. Toute matrice r\u00e9elle <em>X<\/em> de dimension <em>(n &times; p)<\/em> peut \u00eatre d\u00e9compos\u00e9e sous la forme :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>X = U &Sigma; V&rsquo;<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">o\u00f9 <em>U<\/em> est une matrice orthogonale <em>(n &times; n)<\/em>, <em>V<\/em> est une matrice orthogonale <em>(p &times; p)<\/em> dont les colonnes sont les vecteurs singuliers \u00e0 droite (qui correspondent \u00e9galement aux vecteurs propres de <em>X&rsquo;X<\/em>), et <em>&Sigma;<\/em> est une matrice diagonale <em>(n &times; p)<\/em> dont les entr\u00e9es diagonales <em>&sigma;<sub>1<\/sub> &ge; &sigma;<sub>2<\/sub> &ge; &#8230; &ge; &sigma;<sub>p<\/sub> &ge; 0<\/em> sont les valeurs singuli\u00e8res de <em>X<\/em>. Le diagnostic de singularit\u00e9 s&rsquo;\u00e9tablit par l&rsquo;observation directe du spectre de ces valeurs singuli\u00e8res : s&rsquo;il existe au moins une valeur singuli\u00e8re <em>&sigma;<sub>j<\/sub> = 0<\/em>, la matrice est rigoureusement singuli\u00e8re. En calcul num\u00e9rique, en raison des limites de pr\u00e9cision machine, on utilise un seuil de tol\u00e9rance en de\u00e7\u00e0 duquel la valeur est assimil\u00e9e \u00e0 z\u00e9ro<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>&sigma;<sub>j<\/sub> &lt; &epsilon; &times; max(n, p) &times; &sigma;<sub>1<\/sub><\/em><\/span><\/p>\n<p>o\u00f9 <em>&epsilon;<\/em> repr\u00e9sente l&rsquo;epsilon machine (environ <em>2,22 &times; 10<sup>-16<\/sup><\/em> en double pr\u00e9cision standard).<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Un autre vecteur de diagnostic puissant consiste \u00e0 examiner les <strong>vecteurs propres associ\u00e9s aux valeurs propres nulles<\/strong>. Si <em>&lambda;<sub>k<\/sub> = 0<\/em> est une valeur propre de <em>X&rsquo;X<\/em>, le vecteur propre associ\u00e9 <em>v<sub>k<\/sub><\/em> v\u00e9rifie<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>X&rsquo;X v<sub>k<\/sub> = 0 &rArr; ||X v<sub>k<\/sub>||\u00b2 = v<sub>k<\/sub>&lsquo; X&rsquo;X v<sub>k<\/sub> = 0 &rArr; X v<sub>k<\/sub> = 0<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Les composantes du vecteur <em>v<sub>k<\/sub> = [v<sub>1k<\/sub>, v<sub>2k<\/sub>, &#8230;, v<sub>pk<\/sub>]&rsquo;<\/em> r\u00e9v\u00e8lent directement les pond\u00e9rations de la combinaison lin\u00e9aire exacte qui annule les colonnes de <em>X<\/em>. Cet examen offre \u00e0 l&rsquo;analyste la cl\u00e9 d\u00e9terministe pour identifier avec certitude la relation arithm\u00e9tique sous-jacente responsable du blocage de l&rsquo;inversion<\/span>.<\/p>\n<h2>4. Diff\u00e9rences fondamentales entre multicolin\u00e9arit\u00e9 et singularit\u00e9<\/h2>\n<h3>4.1 Nature math\u00e9matique : probl\u00e8me d&rsquo;\u00e9chantillonnage vs impossibilit\u00e9 alg\u00e9brique<\/h3>\n<p>La c\u00e9sure \u00e9pist\u00e9mologique majeure s\u00e9parant la multicolin\u00e9arit\u00e9 de la singularit\u00e9 r\u00e9side dans leur statut math\u00e9matique vis-\u00e0-vis des donn\u00e9es et du mod\u00e8le th\u00e9orique. La multicolin\u00e9arit\u00e9 rel\u00e8ve fondamentalement d&rsquo;une carence d&rsquo;information statistique propre \u00e0 un \u00e9chantillon donn\u00e9, tandis que la singularit\u00e9 proc\u00e8de d&rsquo;un statut d&rsquo;impossibilit\u00e9 logique et g\u00e9om\u00e9trique absolue.<\/p>\n<p>Dans un contexte de multicolin\u00e9arit\u00e9, l&rsquo;espace vectoriel engendr\u00e9 par les colonnes de <em>X<\/em> &mdash; d\u00e9sign\u00e9 comme l&rsquo;espace image <em>im(X)<\/em> ou l&rsquo;espace des colonnes &mdash; poss\u00e8de une dimension rigoureusement \u00e9gale \u00e0 <em>p<\/em>. Les donn\u00e9es souffrent d&rsquo;un manque de contraste exp\u00e9rimental : les r\u00e9alisations des variables varient simultan\u00e9ment dans des directions similaires, rendant l&rsquo;isolation de leurs contributions respectives difficile mais nullement ill\u00e9gitime. L&rsquo;analyste se trouve dans une situation conceptuellement analogue \u00e0 celle o\u00f9 il tenterait d&rsquo;estimer un mod\u00e8le avec un \u00e9chantillon de trop petite taille. Arthur Goldberger a magistralement r\u00e9sum\u00e9 cette id\u00e9e en introduisant le n\u00e9ologisme ironique de \u00ab micronum\u00e9rosit\u00e9 \u00bb (<em>micronumerosity<\/em>) : de m\u00eame qu&rsquo;un \u00e9chantillon de petite taille engendre de larges erreurs-types sans qu&rsquo;aucune hypoth\u00e8se des MCO ne soit formellement viol\u00e9e, la pr\u00e9sence de multicolin\u00e9arit\u00e9 ne constitue rien d&rsquo;autre qu&rsquo;une d\u00e9ficience quantitative d&rsquo;information orthogonale dans les donn\u00e9es collect\u00e9es.<\/p>\n<p>Cette distinction se mat\u00e9rialise par la r\u00e9ponse des deux ph\u00e9nom\u00e8nes face \u00e0 une augmentation de la taille d&rsquo;\u00e9chantillon <em>n<\/em> :<\/p>\n<ul>\n<li><strong>Sous multicolin\u00e9arit\u00e9 :<\/strong> Si l&rsquo;on augmente la collecte de donn\u00e9es en incorporant de nouvelles observations s\u00e9lectionn\u00e9es de mani\u00e8re \u00e0 casser le parall\u00e9lisme des trajectoires ant\u00e9rieures, le terme <em>(n &#8211; 1)s<sub>j<\/sub>\u00b2<\/em> cro\u00eet, ce qui compense et r\u00e9sorbe l&rsquo;inflation de variance induite par le facteur <em>1 \/ (1 &#8211; R<sub>j<\/sub>\u00b2)<\/em>. La pr\u00e9cision des estimateurs s&rsquo;am\u00e9liore contin\u00fbment avec la taille de l&rsquo;\u00e9chantillon.<\/li>\n<li><span class=\"arabpsy-eq\" dir=\"ltr\"><strong>Sous singularit\u00e9 :<\/strong> Aucune augmentation de la taille de l&rsquo;\u00e9chantillon, f\u00fbt-elle port\u00e9e \u00e0 des millions d&rsquo;observations, ne saurait r\u00e9soudre la d\u00e9ficience de rang. Si une variable est construite comme la somme exacte de deux autres, cette relation arithm\u00e9tique <em>X<sub>3<\/sub> = X<sub>1<\/sub> + X<sub>2<\/sub><\/em> est v\u00e9rifi\u00e9e pour la totalit\u00e9 des observations futures par construction. La singularit\u00e9 est fig\u00e9e dans la structure dimensionnelle du mod\u00e8le ; elle est indiff\u00e9rente au volume d&rsquo;observations accumul\u00e9<\/span>.<\/li>\n<\/ul>\n<h3>4.2 Comportement de la matrice d&rsquo;information et de variance-covariance<\/h3>\n<p>La disparit\u00e9 structurelle des deux ph\u00e9nom\u00e8nes s&rsquo;observe directement au travers de la g\u00e9om\u00e9trie de la <strong>matrice d&rsquo;information de Fisher<\/strong> <em>I(&beta;)<\/em> et de la topologie des ellipso\u00efdes de confiance associ\u00e9s aux estimateurs. Dans le cadre de la r\u00e9gression lin\u00e9aire avec perturbations gaussiennes, la matrice d&rsquo;information d&rsquo;\u00e9chantillon pour le vecteur de param\u00e8tres <em>&beta;<\/em> est proportionnelle \u00e0 la matrice de Gram :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>I(&beta;) = (1 \/ &sigma;\u00b2) X&rsquo;X<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">La matrice de variance-covariance asymptotique de l&rsquo;estimateur correspond \u00e0 l&rsquo;inverse de cette matrice d&rsquo;information, soit <em>Var(&beta;&#770;) = &sigma;\u00b2 (X&rsquo;X)<sup>-1<\/sup><\/em>. La forme g\u00e9om\u00e9trique de l&rsquo;incertitude conjointe sur les coefficients s&rsquo;exprime \u00e0 travers l&rsquo;ellipso\u00efde de confiance \u00e0 <em>(1 &#8211; &alpha;) %<\/em>, d\u00e9fini dans l&rsquo;espace des param\u00e8tres <em>&real;<sup>p<\/sup><\/em> par la forme quadratique<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>{ &beta; &isin; &real;<sup>p<\/sup> : (&beta; &#8211; &beta;&#770;)&rsquo; X&rsquo;X (&beta; &#8211; &beta;&#770;) &le; p s\u00b2 F<sub>1-&alpha;<\/sub>(p, n &#8211; p) }<\/em><\/span><\/p>\n<p>Les axes principaux de cet ellipso\u00efde sont port\u00e9s par les vecteurs propres <em>v<sub>j<\/sub><\/em> de <em>X&rsquo;X<\/em>, et les longueurs de ses demi-axes sont inversement proportionnelles aux racines carr\u00e9es des valeurs propres correspondantes <em>&radic;(&lambda;<sub>j<\/sub>)<\/em> :<\/p>\n<ul>\n<li><span class=\"arabpsy-eq\" dir=\"ltr\"><strong>Comportement sous multicolin\u00e9arit\u00e9 :<\/strong> La matrice <em>X&rsquo;X<\/em> reste d\u00e9finie positive stricte (toutes ses valeurs propres v\u00e9rifient <em>&lambda;<sub>j<\/sub> &gt; 0<\/em>). L&rsquo;ellipso\u00efde de confiance demeure ferm\u00e9 et born\u00e9 dans toutes les directions de l&rsquo;espace. Toutefois, en raison de la pr\u00e9sence d&rsquo;une ou plusieurs valeurs propres extr\u00eamement petites (<em>&lambda;<sub>min<\/sub> &approx; 0<\/em>), l&rsquo;ellipso\u00efde s&rsquo;\u00e9tire de fa\u00e7on spectaculaire le long des axes associ\u00e9s aux vecteurs propres de ces faibles valeurs propres. Il prend la forme d&rsquo;un \u00ab cigare \u00bb hyper-dimensionnel extr\u00eamement allong\u00e9. Les projections de cet ellipso\u00efde sur les axes de coordonn\u00e9es individuels (qui correspondent aux intervalles de confiance marginaux de chaque param\u00e8tre <em>&beta;<sub>j<\/sub><\/em>) deviennent immenses. Cela explique pourquoi deux coefficients peuvent \u00eatre individuellement non significatifs (intervalles englobant z\u00e9ro), tout en \u00e9tant conjointement tr\u00e8s pr\u00e9cis\u00e9ment localis\u00e9s sur une ar\u00eate \u00e9troite oblique de l&rsquo;ellipso\u00efde<\/span>.<\/li>\n<li><span class=\"arabpsy-eq\" dir=\"ltr\"><strong>Comportement sous singularit\u00e9 :<\/strong> La matrice <em>X&rsquo;X<\/em> d\u00e9g\u00e9n\u00e8re et n&rsquo;est plus que semi-d\u00e9finie positive ; elle admet au moins une valeur propre exactement nulle <em>&lambda; = 0<\/em>. La longueur du demi-axe correspondant, <em>1 \/ &radic;(&lambda;)<\/em>, devient math\u00e9matiquement infinie. L&rsquo;ellipso\u00efde de confiance se rompt : il perd sa fermeture g\u00e9om\u00e9trique pour se m\u00e9tamorphoser en un <strong>cylindre infini<\/strong> le long de la direction d\u00e9finie par le vecteur du noyau <em>v<\/em> (la ligne de d\u00e9pendance exacte). L&rsquo;incertitude dans cette direction est infinie : n&rsquo;importe quel point le long de cet axe r\u00e9alise rigoureusement le m\u00eame ajustement quadratique aux donn\u00e9es empiriques. L&rsquo;inf\u00e9rence bay\u00e9sienne non informative aboutit similairement \u00e0 des distributions a posteriori impropres le long de cette direction non identifiable<\/span>.<\/li>\n<\/ul>\n<h3>4.3 Manifestations logicielles et alertes syst\u00e8mes<\/h3>\n<p>Le comportement des progiciels statistiques face \u00e0 ces deux \u00e9tats met en \u00e9vidence leur divergence algorithmique fondamentale :<\/p>\n<p>Dans un sc\u00e9nario de multicolin\u00e9arit\u00e9, l&rsquo;algorithme d&rsquo;optimisation num\u00e9rique m\u00e8ne les calculs \u00e0 leur terme sans aucune interruption fatale. La factorisation matricielle s&rsquo;ex\u00e9cute, l&rsquo;inverse est calcul\u00e9, et les sorties compl\u00e8tes du mod\u00e8le s&rsquo;affichent. Les sympt\u00f4mes se manifestent exclusivement dans les valeurs num\u00e9riques produites :<\/p>\n<ul>\n<li>Coefficients dont les valeurs absolues sont contre-intuitives ou disproportionn\u00e9es.<\/li>\n<li>Erreurs-types tr\u00e8s larges et <em>p-values<\/em> associ\u00e9es aux tests individuels \u00e9lev\u00e9es (absence de significativit\u00e9 statistique).<\/li>\n<li>Coefficients de corr\u00e9lation n\u00e9gatifs massifs entre estimateurs dans la matrice de variance-covariance extraite.<\/li>\n<li>Dans les cas limites de mauvaise condition num\u00e9rique, certains solveurs \u00e9mettent un simple avertissement non bloquant d&rsquo;instabilit\u00e9, du type <em>\u00ab Warning: Matrix is close to singular or badly scaled \u00bb<\/em>.<\/li>\n<\/ul>\n<p>En pr\u00e9sence d&rsquo;une singularit\u00e9, en revanche, les routines logicielles atteignent un point d&rsquo;arr\u00eat d\u00e9terministe. Les solveurs directs qui ne pr\u00e9voient pas de d\u00e9gradation douce (comme l&rsquo;inversion na\u00efve via <code>numpy.linalg.inv<\/code> en langage Python) l\u00e8vent imm\u00e9diatement une exception bloquante :<\/p>\n<p><code>LinAlgError: Singular matrix<\/code><\/p>\n<p>Pour pr\u00e9venir ces blocages intempestifs et pr\u00e9server le flux de travail des utilisateurs, les logiciels orient\u00e9s vers l&rsquo;\u00e9conom\u00e9trie et les sciences sociales (tels que R, SAS ou Stata) mettent en &oelig;uvre des strat\u00e9gies d&rsquo;\u00e9vitement automatis\u00e9es. Sous R, la fonction <code>lm()<\/code> recourt \u00e0 une factorisation QR avec d\u00e9tection de rang. D\u00e8s qu&rsquo;un pivot diagonal de <em>R<\/em> s&rsquo;annule, la variable correspondante est arbitrairement neutralis\u00e9e. Le logiciel affiche un tableau de r\u00e9gression tronqu\u00e9 o\u00f9 les lignes des pr\u00e9dicteurs d\u00e9chus indiquent <code>NA<\/code> pour l&rsquo;estimation, l&rsquo;\u00e9cart-type, le <em>t<\/em> et la <em>p-value<\/em>, accompagn\u00e9 de la notification interne indiquant que <em>p &#8211; k<\/em> coefficients ne sont pas d\u00e9finis en raison de la singularit\u00e9. Ce comportement automatique, bien qu&rsquo;\u00e9l\u00e9gant sur le plan de la programmation d\u00e9fensive, masque parfois \u00e0 l&rsquo;utilisateur non averti un probl\u00e8me fondamental de sp\u00e9cification th\u00e9orique qui n\u00e9cessiterait une r\u00e9flexion approfondie plut\u00f4t qu&rsquo;un contournement algorithmique aveugle.<\/p>\n<p>Il importe enfin de signaler le cas particulier des solveurs it\u00e9ratifs (descentes de gradient stochastique, algorithmes de quasi-Newton de type BFGS couramment utilis\u00e9s dans les mod\u00e8les lin\u00e9aires g\u00e9n\u00e9ralis\u00e9s ou les r\u00e9seaux neuronaux). Face \u00e0 une multicolin\u00e9arit\u00e9 forte, le gradient oscille de mani\u00e8re chaotique d&rsquo;une paroi \u00e0 l&rsquo;autre de la vall\u00e9e \u00e9troite (probl\u00e8me de mauvais conditionnement de la hessienne), ralentissant drastiquement la convergence. Face \u00e0 une singularit\u00e9, la hessienne n&rsquo;\u00e9tant plus strictement convexe, le solveur it\u00e9ratif d\u00e9rive ind\u00e9finiment le long de la ligne de niveau plane sans jamais converger vers un point unique, \u00e0 moins qu&rsquo;une r\u00e8gle d&rsquo;arr\u00eat pr\u00e9coce arbitraire n&rsquo;interrompe la recherche.<\/p>\n<h3>4.4 Tableau comparatif synth\u00e9tique et strat\u00e9gies de rem\u00e9diation<\/h3>\n<p>Pour clarifier sans ambigu\u00eft\u00e9 les fronti\u00e8res conceptuelles et op\u00e9rationnelles s\u00e9parant la multicolin\u00e9arit\u00e9 de la singularit\u00e9, le tableau comparatif ci-dessous d\u00e9taille le comportement de chaque dimension analytique :<\/p>\n<table>\n<thead>\n<tr>\n<th>Dimension d&rsquo;analyse<\/th>\n<th>Multicolin\u00e9arit\u00e9<\/th>\n<th>Singularit\u00e9<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><strong>Nature math\u00e9matique<\/strong><\/td>\n<td>Probl\u00e8me d&rsquo;\u00e9chantillonnage statistique. D\u00e9ficience d&rsquo;information orthogonale dans l&rsquo;\u00e9chantillon fini.<\/td>\n<td>Propri\u00e9t\u00e9 alg\u00e9brique d\u00e9terministe. Rupture dimensionnelle dans l&rsquo;espace des r\u00e9gresseurs.<\/td>\n<\/tr>\n<tr>\n<td><strong>D\u00e9terminant de X&rsquo;X<\/strong><\/td>\n<td>Strictement positif : <span class=\"arabpsy-eq\" dir=\"ltr\"><em>det(X&rsquo;X) &gt; 0<\/em>, mais tendant vers z\u00e9ro \u00e0 mesure que la corr\u00e9lation s&rsquo;intensifie<\/span>.<\/td>\n<td>Rigoureusement nul : <span class=\"arabpsy-eq\" dir=\"ltr\"><em>det(X&rsquo;X) = 0<\/em><\/span>.<\/td>\n<\/tr>\n<tr>\n<td><strong>Rang de la matrice (rg)<\/strong><\/td>\n<td>Plein rang colonne : <span class=\"arabpsy-eq\" dir=\"ltr\"><em>rg(X) = rg(X&rsquo;X) = p<\/em><\/span>.<\/td>\n<td>Rang d\u00e9ficient : <span class=\"arabpsy-eq\" dir=\"ltr\"><em>rg(X) = rg(X&rsquo;X) = k &lt; p<\/em><\/span>.<\/td>\n<\/tr>\n<tr>\n<td><strong>Spectre des valeurs propres (&lambda;)<\/strong><\/td>\n<td>Toutes les valeurs propres sont strictement positives : <span class=\"arabpsy-eq\" dir=\"ltr\"><em>&lambda;<sub>j<\/sub> &gt; 0, &forall; j<\/em>. Les plus faibles sont tr\u00e8s petites<\/span>.<\/td>\n<td>Au moins une valeur propre est exactement nulle : <span class=\"arabpsy-eq\" dir=\"ltr\"><em>&exist; &lambda;<sub>j<\/sub> = 0<\/em><\/span>.<\/td>\n<\/tr>\n<tr>\n<td><strong>Existence d&rsquo;un inverse classique<\/strong><\/td>\n<td>Oui : <em>(X&rsquo;X)<sup>-1<\/sup><\/em> existe formellement au sens de Cramer-Frobenius.<\/td>\n<td>Non : aucun inverse ordinaire n&rsquo;existe. N\u00e9cessit\u00e9 d&rsquo;un pseudo-inverse.<\/td>\n<\/tr>\n<tr>\n<td><strong>Unicit\u00e9 de la solution MCO<\/strong><\/td>\n<td>Solution unique : un point optimal unique <em>&beta;&#770;<\/em> dans <em>&real;<sup>p<\/sup><\/em>.<\/td>\n<td>Infinit\u00e9 de solutions : vari\u00e9t\u00e9 affine de dimension <em>p &#8211; k<\/em> minimisant la perte quadratique.<\/td>\n<\/tr>\n<tr>\n<td><strong>Propri\u00e9t\u00e9s des estimateurs<\/strong><\/td>\n<td>Sans biais (<em>BLUE<\/em>), mais variance d&rsquo;\u00e9chantillonnage dilat\u00e9e et tests <em>t<\/em> peu puissants.<\/td>\n<td>Param\u00e8tres structurels non identifiables sans contraintes externes pr\u00e9alables.<\/td>\n<\/tr>\n<tr>\n<td><strong>Ellipso\u00efde de confiance conjointe<\/strong><\/td>\n<td>Ferm\u00e9 et born\u00e9, mais tr\u00e8s fortement \u00e9tir\u00e9 en forme d&rsquo;aiguille ou d&rsquo;hyper-cigare.<\/td>\n<td>Ouvert : cylindre g\u00e9om\u00e9trique infini le long des directions de colin\u00e9arit\u00e9 exacte.<\/td>\n<\/tr>\n<tr>\n<td><strong>Impact d&rsquo;une hausse d&rsquo;\u00e9chantillon (n)<\/strong><\/td>\n<td>R\u00e9sorbe progressivement l&rsquo;incertitude et fait chuter les erreurs-types des estimateurs.<\/td>\n<td>Strictement inop\u00e9rant : la d\u00e9pendance lin\u00e9aire exacte persiste quelle que soit la taille de <em>n<\/em>.<\/td>\n<\/tr>\n<tr>\n<td><strong>Manifestation logicielle<\/strong><\/td>\n<td>Calcul men\u00e9 \u00e0 terme, coefficients instables, VIF \u00e9lev\u00e9s, paradoxe <em>F<\/em> significatif \/ <em>t<\/em> non significatifs.<\/td>\n<td>Erreur fatale d&rsquo;inversion ou exclusion automatique (<code>NA<\/code>, <em>omitted<\/em>) d&rsquo;une ou plusieurs variables.<\/td>\n<\/tr>\n<tr>\n<td><strong>Strat\u00e9gie de r\u00e9solution centrale<\/strong><\/td>\n<td>R\u00e9gularisation p\u00e9nalis\u00e9e (Ridge, Elastic Net), r\u00e9duction de dimension (ACP), s\u00e9lection cibl\u00e9e ou \u00e9largissement de l&rsquo;\u00e9chantillon.<\/td>\n<td>Re-sp\u00e9cification structurelle, suppression imp\u00e9rative de la redondance arithm\u00e9tique, recodage des variables cat\u00e9gorielles.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Les strat\u00e9gies de rem\u00e9diation illustrent de mani\u00e8re \u00e9clatante la diff\u00e9rence de nature des deux maux :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Face \u00e0 une <strong>singularit\u00e9<\/strong>, l&rsquo;intervention de l&rsquo;analyste doit \u00eatre <strong>d\u00e9terministe et conceptuelle<\/strong>. La machine ne peut prendre de d\u00e9cision th\u00e9orique \u00e0 la place du chercheur. Il est imp\u00e9ratif d&rsquo;identifier la contrainte de liaison exacte reliant les colonnes (par exemple <em>X<sub>1<\/sub> + X<sub>2<\/sub> &#8211; X<sub>3<\/sub> = 0<\/em>) et d&rsquo;\u00e9liminer la variable superflue, ou de reformuler l&rsquo;\u00e9quation en imposant une contrainte d&rsquo;identification formelle (comme contraindre la somme des coefficients cat\u00e9goriels \u00e0 z\u00e9ro : <em>&sum; &beta;<sub>m<\/sub> = 0<\/em>). Si la singularit\u00e9 r\u00e9sulte de la situation de grande dimensionnalit\u00e9 <em>p &gt; n<\/em>, il convient d&rsquo;abandonner l&rsquo;estimation MCO pure pour adopter des estimateurs contraints ou basculer dans le cadre du pseudo-inverse g\u00e9n\u00e9ralis\u00e9 de Moore-Penrose <em>X<sup>+<\/sup><\/em>, qui s\u00e9lectionne l&rsquo;unique estimateur de norme euclidienne minimale parmi l&rsquo;infinit\u00e9 de solutions existantes<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>&beta;&#770;<sub>MP<\/sub> = X<sup>+<\/sup> Y = V &Sigma;<sup>+<\/sup> U&rsquo; Y<\/em><\/span><\/p>\n<p>Face \u00e0 une <strong>multicolin\u00e9arit\u00e9<\/strong>, la r\u00e9ponse rel\u00e8ve de l&rsquo;<strong>arbitrage statistique biais-variance<\/strong>. La matrice \u00e9tant inversible, la suppression manuelle d&rsquo;une variable corr\u00e9l\u00e9e n&rsquo;est pas une obligation alg\u00e9brique ; elle repr\u00e9sente un choix de mod\u00e9lisation lourd de cons\u00e9quences. Supprimer une variable explicative pertinente sous pr\u00e9texte qu&rsquo;elle affiche un VIF \u00e9lev\u00e9 \u00e9limine certes la colin\u00e9arit\u00e9, mais introduit m\u00e9caniquement un <strong>biais de variable omise<\/strong> qui contamine l&rsquo;ensemble des coefficients r\u00e9siduels. Les d\u00e9marches contemporaines privil\u00e9gient donc la tol\u00e9rance du ph\u00e9nom\u00e8ne si la pr\u00e9diction est le seul but, ou le recours \u00e0 la <strong>r\u00e9gression Ridge<\/strong> (r\u00e9gularisation <em>L<sub>2<\/sub><\/em>), qui sacrifie l&rsquo;absence de biais des MCO en \u00e9change d&rsquo;une r\u00e9duction drastique de la variance d&rsquo;\u00e9chantillonnage.<\/p>\n<h2>5. Points de convergence et interd\u00e9pendance th\u00e9orique<\/h2>\n<h3>5.1 Le continuum du conditionnement matriciel<\/h3>\n<p>En d\u00e9pit de leur dissemblance alg\u00e9brique fondamentale, la multicolin\u00e9arit\u00e9 et la singularit\u00e9 ne doivent pas \u00eatre per\u00e7ues comme deux \u00eeles isol\u00e9es sans passerelle th\u00e9orique. Elles s&rsquo;int\u00e8grent au sein d&rsquo;un continuum math\u00e9matique rigoureux r\u00e9gi par la th\u00e9orie du <strong>conditionnement matriciel<\/strong> introduite par le math\u00e9maticien Alan Turing.<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Le nombre de conditionnement <em>&kappa;(A)<\/em> d&rsquo;une matrice normale <em>A = X&rsquo;X<\/em>, relativement \u00e0 la norme euclidienne spectrale (norme 2), est formellement d\u00e9fini comme le ratio entre sa plus grande et sa plus petite valeur propre<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>&kappa;(X&rsquo;X) = &lambda;<sub>max<\/sub> \/ &lambda;<sub>min<\/sub><\/em><\/span><\/p>\n<p>De mani\u00e8re \u00e9quivalente, en consid\u00e9rant les valeurs singuli\u00e8res de la matrice de conception mise \u00e0 l&rsquo;\u00e9chelle <em>X<\/em>, il correspond au carr\u00e9 du rapport entre la valeur singuli\u00e8re maximale et la valeur singuli\u00e8re minimale :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>&kappa;(X&rsquo;X) = ( &sigma;<sub>max<\/sub> \/ &sigma;<sub>min<\/sub> )\u00b2<\/em><\/span><\/p>\n<p>Ce nombre de conditionnement quantifie la sensibilit\u00e9 de la solution du syst\u00e8me lin\u00e9aire \u00e0 d&rsquo;infimes perturbations affectant les donn\u00e9es matricielles d&rsquo;entr\u00e9e ou le vecteur r\u00e9ponse. En vertu des th\u00e9or\u00e8mes d&rsquo;analyse num\u00e9rique matricielle, si l&rsquo;on perturbe le membre de droite <em>Y<\/em> d&rsquo;une quantit\u00e9 relative <em>||&delta;Y|| \/ ||Y||<\/em>, la variation relative induite sur la solution <em>&beta;&#770;<\/em> est born\u00e9e par l&rsquo;in\u00e9galit\u00e9 fondamentale :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>( ||&delta;&beta;&#770;|| \/ ||&beta;&#770;|| ) &le; &kappa;(X) &times; ( ||&delta;Y|| \/ ||Y|| )<\/em><\/span><\/p>\n<p>Le spectre d&rsquo;\u00e9valuation s&rsquo;organise alors le long d&rsquo;une transition continue :<\/p>\n<ul>\n<li><span class=\"arabpsy-eq\" dir=\"ltr\"><strong>Conditionnement id\u00e9al (orthogonalit\u00e9 parfaite) :<\/strong> Lorsque toutes les colonnes de <em>X<\/em> sont parfaitement d\u00e9corr\u00e9l\u00e9es et de m\u00eame variance, toutes les valeurs propres de <em>X&rsquo;X<\/em> sont identiques (<em>&lambda;<sub>1<\/sub> = &#8230; = &lambda;<sub>p<\/sub><\/em>). Le nombre de conditionnement est optimal : <em>&kappa; = 1<\/em>. Toute perturbation sur les donn\u00e9es se r\u00e9percute \u00e0 l&rsquo;\u00e9chelle unitaire sur l&rsquo;estimateur<\/span>.<\/li>\n<li><strong>Multicolin\u00e9arit\u00e9 mod\u00e9r\u00e9e \u00e0 s\u00e9v\u00e8re :<\/strong> \u00c0 mesure que la colin\u00e9arit\u00e9 lin\u00e9aire s&rsquo;accro\u00eet, la plus petite valeur propre <em>&lambda;<sub>min<\/sub><\/em> se rapproche contin\u00fbment de l&rsquo;axe z\u00e9ro sans jamais l&rsquo;intercepter. Le ratio <em>&lambda;<sub>max<\/sub> \/ &lambda;<sub>min<\/sub><\/em> s&rsquo;envole vers des valeurs de l&rsquo;ordre de <em>10\u00b2<\/em>, <em>10\u2074<\/em>, voire <em>10\u2078<\/em>. La matrice est dite mal conditionn\u00e9e (<em>ill-conditioned<\/em>). L&rsquo;instabilit\u00e9 statistique grandit \u00e0 mesure que le nombre de conditionnement grimpe.<\/li>\n<li><strong>Singularit\u00e9 stricte :<\/strong> La singularit\u00e9 repr\u00e9sente l&rsquo;asymptote math\u00e9matique ultime de ce processus de d\u00e9gradation. D\u00e8s lors que la d\u00e9pendance lin\u00e9aire devient absolue, la plus petite valeur propre s&rsquo;annule identiquement : <span class=\"arabpsy-eq\" dir=\"ltr\"><em>&lambda;<sub>min<\/sub> &equiv; 0<\/em>. Le d\u00e9nominateur de la fraction s&rsquo;effondre \u00e0 z\u00e9ro, et le nombre de conditionnement diverge formellement vers l&rsquo;infini<\/span> :<br \/>\n  <em>lim<sub>&lambda;<sub>min<\/sub> &to; 0<\/sub> &kappa;(X&rsquo;X) = +&infin;<\/em><\/li>\n<\/ul>\n<p>La singularit\u00e9 s&rsquo;interpr\u00e8te ainsi comme le point limite, la borne terminale du spectre du mauvais conditionnement. La multicolin\u00e9arit\u00e9 parcourt la zone interm\u00e9diaire du domaine de d\u00e9finition ouvert <em>[1, +&infin;[<\/em>, tandis que la singularit\u00e9 mat\u00e9rialise la rupture au point fronti\u00e8re <em>+&infin;<\/em>.<\/p>\n<h3>5.2 Sensibilit\u00e9 aux erreurs d&rsquo;arrondi num\u00e9rique<\/h3>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Dans l&rsquo;univers abstrait de l&rsquo;alg\u00e8bre sur le corps des r\u00e9els <em>&real;<\/em>, la fronti\u00e8re entre <em>&lambda;<sub>min<\/sub> = 10<sup>-18<\/sup><\/em> et <em>&lambda;<sub>min<\/sub> = 0<\/em> est infinie : la premi\u00e8re matrice est rigoureusement inversible, la seconde est irr\u00e9versiblement singuli\u00e8re. Cependant, d\u00e8s lors que l&rsquo;on quitte les math\u00e9matiques pures pour ex\u00e9cuter ces calculs sur une architecture informatique physique soumise aux r\u00e8gles de l&rsquo;arithm\u00e9tique binaire en virgule flottante, cette fronti\u00e8re conceptuelle se dissout sous l&rsquo;effet des erreurs d&rsquo;arrondi<\/span>.<\/p>\n<p>Dans la norme internationale IEEE 754 r\u00e9gissant la double pr\u00e9cision (qui attribue 64 bits \u00e0 chaque nombre r\u00e9el : 1 bit de signe, 11 bits d&rsquo;exposant et 52 bits de mantisse), la plus petite variation relative discernable entre deux nombres distincts &mdash; l&rsquo;epsilon machine <em>&epsilon;<\/em> &mdash; est de l&rsquo;ordre de :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>&epsilon; &approx; 2<sup>-52<\/sup> &approx; 2,2204 &times; 10<sup>-16<\/sup><\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">Si une matrice <em>X&rsquo;X<\/em> est affect\u00e9e par une multicolin\u00e9arit\u00e9 quasi-parfaite, son nombre de conditionnement peut ais\u00e9ment franchir le cap de <em>1 \/ &epsilon; &approx; 10<sup>16<\/sup><\/em>. Dans cette configuration g\u00e9om\u00e9trique, le d\u00e9terminant calcul\u00e9 par l&rsquo;ordinateur chute bien en de\u00e7\u00e0 du seuil d&rsquo;extr\u00eame pr\u00e9cision. Durant le processus d&rsquo;\u00e9limination de Gauss ou de factorisation de Cholesky, les soustractions successives d&rsquo;\u00e9l\u00e9ments d&rsquo;amplitudes proches entra\u00eenent un ph\u00e9nom\u00e8ne destructeur d&rsquo;<strong>annulation num\u00e9rique catastrophique<\/strong> (perte totale des chiffres significatifs dans la mantisse). Le solveur est alors dans l&rsquo;incapacit\u00e9 mat\u00e9rielle de distinguer si le r\u00e9sidu calcul\u00e9 &mdash; par exemple <em>3,17 &times; 10<sup>-17<\/sup><\/em> &mdash; traduit une colin\u00e9arit\u00e9 empirique imparfaite ou s&rsquo;il s&rsquo;agit d&rsquo;un z\u00e9ro exact pollu\u00e9 par les bruits d&rsquo;arrondi de la machine<\/span>.<\/p>\n<p>Pour parer \u00e0 ce risque de d\u00e9rive chaotique o\u00f9 l&rsquo;ordinateur produirait des inverses matriciels aberrants domin\u00e9s par le bruit machine, les concepteurs des biblioth\u00e8ques d&rsquo;alg\u00e8bre computationnelle fondamentale (telles que BLAS et LAPACK) imposent des tol\u00e9rances de rang strictes. Toute matrice dont le conditionnement estim\u00e9 franchit ces seuils de garde est d\u00e9clar\u00e9e <strong>num\u00e9riquement singuli\u00e8re<\/strong> (<em>computationally singular<\/em>). Ainsi, dans la pratique computationnelle, une multicolin\u00e9arit\u00e9 quasi-parfaite subit le m\u00eame traitement op\u00e9rationnel d&rsquo;avortement du calcul qu&rsquo;une singularit\u00e9 th\u00e9orique stricte. La mat\u00e9rialit\u00e9 de l&rsquo;ordinateur transforme une diff\u00e9rence de nature en une identit\u00e9 de traitement.<\/p>\n<h3>5.3 Impacts partag\u00e9s sur l&rsquo;inf\u00e9rence causale<\/h3>\n<p>Au-del\u00e0 des consid\u00e9rations alg\u00e9briques et num\u00e9riques, la multicolin\u00e9arit\u00e9 et la singularit\u00e9 exercent des ravages conceptuels rigoureusement comparables sur l&rsquo;\u00e9pist\u00e9mologie de l&rsquo;<strong>inf\u00e9rence causale<\/strong> et la mod\u00e9lisation explicative.<\/p>\n<p>La pierre angulaire de l&rsquo;interpr\u00e9tation des mod\u00e8les de r\u00e9gression en sciences sociales, en \u00e9conom\u00e9trie et en \u00e9pid\u00e9miologie repose sur le principe de l&rsquo;analyse <strong>ceteris paribus<\/strong> (\u00ab toutes choses \u00e9gales par ailleurs \u00bb). Lorsqu&rsquo;un chercheur affirme que le coefficient <em>&beta;<sub>1<\/sub><\/em> quantifie l&rsquo;effet propre de la variable <em>X<sub>1<\/sub><\/em> sur la r\u00e9ponse <em>Y<\/em>, il postule l&rsquo;exp\u00e9rience de pens\u00e9e contrefactuelle suivante : quelle serait la variation moyenne observ\u00e9e sur <em>Y<\/em> si l&rsquo;on incr\u00e9mentait la variable <em>X<sub>1<\/sub><\/em> d&rsquo;une unit\u00e9, tout en maintenant rigoureusement immobiles l&rsquo;ensemble des autres covariables <em>X<sub>2<\/sub>, &#8230;, X<sub>p<\/sub><\/em> ?<\/p>\n<p>Or, la pr\u00e9sence d&rsquo;une d\u00e9pendance lin\u00e9aire &mdash; qu&rsquo;elle soit empiriquement tr\u00e8s forte ou alg\u00e9briquement exacte &mdash; invalide physiquement cette clause contrefactuelle :<\/p>\n<ul>\n<li><span class=\"arabpsy-eq\" dir=\"ltr\">Sous <strong>singularit\u00e9<\/strong>, la condition ceteris paribus est une impossibilit\u00e9 logique pure. S&rsquo;il existe une liaison d\u00e9terministe telle que <em>X<sub>3<\/sub> = X<sub>1<\/sub> + X<sub>2<\/sub><\/em>, il est formellement impossible de faire varier <em>X<sub>1<\/sub><\/em> d&rsquo;une unit\u00e9 tout en gardant <em>X<sub>2<\/sub><\/em> et <em>X<sub>3<\/sub><\/em> constants. L&rsquo;\u00e9tat contrefactuel imagin\u00e9 viole la physique interne des donn\u00e9es ; il n&rsquo;appartient pas au support d&rsquo;existence du ph\u00e9nom\u00e8ne. Les param\u00e8tres marginaux individuels n&rsquo;ont aucune r\u00e9alit\u00e9 observable dissoci\u00e9e<\/span>.<\/li>\n<li>Sous <strong>multicolin\u00e9arit\u00e9 s\u00e9v\u00e8re<\/strong>, la condition ceteris paribus n&rsquo;est pas math\u00e9matiquement interdite, mais elle exige d&rsquo;\u00e9valuer le comportement du syst\u00e8me dans des r\u00e9gions de l&rsquo;espace des covariables totalement d\u00e9pourvues d&rsquo;observations empiriques. Si le revenu et le niveau d&rsquo;\u00e9ducation sont corr\u00e9l\u00e9s \u00e0 0,98, pr\u00e9dire ce qu&rsquo;il adviendrait pour un individu cumulant le dipl\u00f4me le plus \u00e9lev\u00e9 possible et le salaire le plus faible revient \u00e0 extrapoler hors du support commun des donn\u00e9es. L&rsquo;incertitude d\u00e9mesur\u00e9e refl\u00e9t\u00e9e par les larges \u00e9carts-types n&rsquo;est pas un d\u00e9faut de l&rsquo;estimateur des MCO : elle traduit fid\u00e8lement le fait que la nature ne nous a fourni pratiquement aucun exemple empirique permettant de dissocier les effets des deux variables.<\/li>\n<\/ul>\n<p>Dans les deux configurations, le chercheur qui s&rsquo;obstine \u00e0 interpr\u00e9ter les signes et les grandeurs des coefficients pris isol\u00e9ment s&rsquo;expose \u00e0 des confusions d&rsquo;imputation causale majeures. En revanche, il est capital de r\u00e9it\u00e9rer que pour l&rsquo;ing\u00e9nieur ou le praticien dont l&rsquo;unique finalit\u00e9 est la <strong>pr\u00e9diction pure<\/strong> (<em>machine learning<\/em> pr\u00e9dictif non interventionniste), cette confusion interne demeure indolore : tant que le syst\u00e8me n&rsquo;est pas soumis \u00e0 un choc structurel ou \u00e0 une politique publique contrefactuelle rompant la structure de covariance historique des donn\u00e9es, la pr\u00e9diction globale demeure parfaitement calibr\u00e9e et robuste.<\/p>\n<h2>6. Guide pratique de diagnostic et de r\u00e9solution : quelle situation et quelle m\u00e9thode ?<\/h2>\n<h3>6.1 Protocole de traitement d&rsquo;un mod\u00e8le non ex\u00e9cutable pour cause de singularit\u00e9<\/h3>\n<p>Lorsqu&rsquo;un solveur statistique refuse d&rsquo;estimer un mod\u00e8le en affichant un message de matrice singuli\u00e8re, ou lorsqu&rsquo;il proc\u00e8de unilat\u00e9ralement \u00e0 l&rsquo;exclusion de plusieurs pr\u00e9dicteurs sous le statut d&rsquo;aliasing, le praticien doit appliquer un protocole d&rsquo;audit m\u00e9thodique en trois \u00e9tapes successives afin d&rsquo;assainir la matrice de conception.<\/p>\n<p><strong>\u00c9tape 1 : Audit imm\u00e9diat des variables indicatrices et du pi\u00e8ge des muettes.<\/strong><br \/>\nLa premi\u00e8re d\u00e9marche consiste \u00e0 scruter l&rsquo;encodage des variables qualitatives. Pour toute variable cat\u00e9gorielle comportant <em>K<\/em> classes, il faut s&rsquo;assurer imp\u00e9rativement de l&rsquo;un des deux sch\u00e9mas d&rsquo;identification suivants :<\/p>\n<ul>\n<li>Soit la constante du mod\u00e8le (l&rsquo;intercepte) est conserv\u00e9e, et la sp\u00e9cification ne doit comporter strictement que <em>K &#8211; 1<\/em> indicatrices binaires (sch\u00e9ma du <em>treatment contrast<\/em> ou modalit\u00e9 de r\u00e9f\u00e9rence). La modalit\u00e9 absente sert de point d&rsquo;ancrage pour la comparaison des moyennes.<\/li>\n<li>Soit la totalit\u00e9 des <em>K<\/em> indicatrices est int\u00e9gr\u00e9e, mais la r\u00e9gression doit \u00eatre ex\u00e9cut\u00e9e sans terme constant (sch\u00e9ma sans intercepte). Il convient toutefois d&rsquo;\u00eatre vigilant : si le mod\u00e8le incorpore deux variables cat\u00e9gorielles distinctes toutes deux exhaustives, l&rsquo;interdiction de singularit\u00e9 r\u00e9appara\u00eet m\u00eame sans intercepte global, car la somme des indicatrices du premier facteur \u00e9galera la somme des indicatrices du second.<\/li>\n<\/ul>\n<p><strong>\u00c9tape 2 : D\u00e9tection syst\u00e9matique des liaisons arithm\u00e9tiques et comptables.<\/strong><br \/>\nSi le pi\u00e8ge des muettes est \u00e9cart\u00e9, le praticien doit rechercher les d\u00e9pendances fonctionnelles internes cr\u00e9\u00e9es lors de la collecte ou de l&rsquo;agr\u00e9gation des donn\u00e9es. Les cas les plus fr\u00e9quents recouvrent :<\/p>\n<ul>\n<li>Les sommes comptables : <span class=\"arabpsy-eq\" dir=\"ltr\">inclusion simultan\u00e9e de <em>Total = A + B + C<\/em> aux c\u00f4t\u00e9s de <em>A<\/em>, <em>B<\/em> et <em>C<\/em>. La r\u00e9solution requiert la suppression pure et simple de la variable composite <em>Total<\/em> ou l&rsquo;omission de l&rsquo;une des sous-composantes<\/span>.<\/li>\n<li>Les variables de fermetures compositionnelles : donn\u00e9es de pourcentages sommant \u00e0 100 %. Il est obligatoire de retrancher une composante pour briser la contrainte unitaire, ou de basculer vers les formalismes g\u00e9om\u00e9triques d\u00e9di\u00e9s (comme les transformations log-ratio d&rsquo;Aitchison adapt\u00e9es aux donn\u00e9es de composition).<\/li>\n<li>L&rsquo;ing\u00e9nierie redondante : cr\u00e9ation accidentelle de deux transformations math\u00e9matiques mutuellement r\u00e9versibles d&rsquo;une m\u00eame m\u00e9trique (par exemple la temp\u00e9rature en degr\u00e9s Celsius et en degr\u00e9s Fahrenheit, un indice mesur\u00e9 en niveau et sa version centr\u00e9e sans modification d&rsquo;\u00e9chelle, ou des ratios de conversion fixes).<\/li>\n<\/ul>\n<p><strong>\u00c9tape 3 : <span class=\"arabpsy-eq\" dir=\"ltr\">Traitement des r\u00e9gimes de grande dimension (p &gt; n).<\/strong><\/span><br \/>\nSi la singularit\u00e9 est imputable \u00e0 un d\u00e9ficit structurel d&rsquo;observations par rapport au nombre de param\u00e8tres candidats, les MCO classiques doivent \u00eatre cat\u00e9goriquement abandonn\u00e9s. Le mod\u00e9lisateur doit r\u00e9orienter sa m\u00e9thodologie vers des cadres d&rsquo;estimation con\u00e7us pour le sous-d\u00e9terminisme alg\u00e9brique :<\/p>\n<ul>\n<li>L&rsquo;application d&rsquo;un op\u00e9rateur de s\u00e9lection p\u00e9nalis\u00e9e de type <strong>Lasso<\/strong> (r\u00e9gularisation <em>L<sub>1<\/sub><\/em>), qui force l&rsquo;annulation exacte d&rsquo;un grand nombre de coefficients pour n&rsquo;isoler qu&rsquo;un sous-ensemble parcimonieux de pr\u00e9dicteurs de cardinal inf\u00e9rieur \u00e0 <em>n<\/em>.<\/li>\n<li><span class=\"arabpsy-eq\" dir=\"ltr\">La projection sur sous-espaces latents via l&rsquo;<strong>Analyse en Composantes Principales (ACP)<\/strong> pr\u00e9alable, en ne r\u00e9gressant la cible que sur les <em>k &lt; n<\/em> premiers scores factoriels orthogonaux<\/span>.<\/li>\n<li>Le recours formel au <strong>pseudo-inverse de Moore-Penrose<\/strong> si l&rsquo;on d\u00e9sire identifier l&rsquo;unique solution r\u00e9alisant la norme euclidienne minimale parmi le continuum des solutions parfaites en apprentissage.<\/li>\n<\/ul>\n<h3>6.2 Protocole d&rsquo;arbitrage face \u00e0 une multicolin\u00e9arit\u00e9 persistante<\/h3>\n<p>Face \u00e0 un mod\u00e8le qui converge sans rupture mais affiche des sympt\u00f4mes \u00e9vidents d&rsquo;instabilit\u00e9 dus \u00e0 une multicolin\u00e9arit\u00e9 prononc\u00e9e, la s\u00e9quence d\u00e9cisionnelle ne doit pas consister en une \u00e9limination machinale des variables \u00e0 VIF \u00e9lev\u00e9. L&rsquo;analyste doit articuler son jugement autour de trois axes fondamentaux :<\/p>\n<p><strong>Axe 1 : \u00c9valuation de la criticit\u00e9 th\u00e9orique de la variable.<\/strong><br \/>\nIl est indispensable d&rsquo;interroger le statut \u00e9pist\u00e9mologique du r\u00e9gresseur afflig\u00e9 d&rsquo;un fort VIF. S&rsquo;agit-il de la <strong>variable d&rsquo;int\u00e9r\u00eat focal<\/strong> (celle dont l&rsquo;effet causal fait l&rsquo;objet de l&rsquo;hypoth\u00e8se de recherche centrale), ou s&rsquo;agit-il d&rsquo;une simple <strong>covariable de contr\u00f4le<\/strong> introduite pour neutraliser un biais de confusion ?<\/p>\n<ul>\n<li>Si deux covariables de contr\u00f4le secondaires sont mutuellement tr\u00e8s colin\u00e9aires (par exemple l&rsquo;\u00e2ge du conjoint et le revenu du conjoint) mais que leur pr\u00e9sence conjointe assainit l&rsquo;exog\u00e9n\u00e9it\u00e9 de la variable de traitement principale, il est m\u00e9thodologiquement recommand\u00e9 de <strong>ne rien faire<\/strong>. L&rsquo;instabilit\u00e9 interne des coefficients de ces variables de contr\u00f4le est sans importance pour le chercheur ; l&rsquo;essentiel est que le sous-espace qu&rsquo;elles engendrent conjointement bloque le biais de confusion pesant sur la variable d&rsquo;int\u00e9r\u00eat.<\/li>\n<li>Si, en revanche, la colin\u00e9arit\u00e9 frappe directement la variable d&rsquo;int\u00e9r\u00eat focal, confondue avec un autre r\u00e9gresseur majeur, la prudence s&rsquo;impose. Supprimer la covariable concurrente r\u00e9soudra le probl\u00e8me de variance mais exposera imm\u00e9diatement l&rsquo;estimation \u00e0 un biais d&rsquo;omission s\u00e9v\u00e8re. L&rsquo;analyste doit assumer que les donn\u00e9es observationnelles actuelles ne permettent pas de conclure isol\u00e9ment avec une puissance statistique satisfaisante.<\/li>\n<\/ul>\n<p><strong>Axe 2 : Dissociation des sources structurelles et induites.<\/strong><br \/>\nSi la multicolin\u00e9arit\u00e9 d\u00e9coule de l&rsquo;incorporation de termes polynomiaux (<em>X, X\u00b2<\/em>) ou d&rsquo;interactions crois\u00e9es (<em>X<sub>1<\/sub> &times; X<sub>2<\/sub><\/em>), une rem\u00e9diation d&rsquo;une grande simplicit\u00e9 consiste \u00e0 proc\u00e9der au <strong>centrage pr\u00e9alable sur la moyenne<\/strong> des variables concern\u00e9es avant le calcul des produits :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>X&#771;<sub>j<\/sub> = X<sub>j<\/sub> &#8211; X&#772;<sub>j<\/sub><\/em><\/span><\/p>\n<p>En calculant le terme d&rsquo;interaction sous la forme <em>(X<sub>1<\/sub> &#8211; X&#772;<sub>1<\/sub>)(X<sub>2<\/sub> &#8211; X&#772;<sub>2<\/sub>)<\/em>, la covariance g\u00e9om\u00e9trique entre le produit crois\u00e9 et les effets lin\u00e9aires d&rsquo;origine est consid\u00e9rablement affaiblie, ce qui ram\u00e8ne instantan\u00e9ment les VIF \u00e0 des niveaux acceptables sans alt\u00e9rer en rien la qualit\u00e9 d&rsquo;ajustement ou la signification globale du mod\u00e8le.<\/p>\n<p><strong>Axe 3 : Reconfiguration de l&rsquo;\u00e9chantillon et de l&rsquo;information.<\/strong><br \/>\nLorsque les moyens exp\u00e9rimentaux le permettent, l&rsquo;analyste peut briser la multicolin\u00e9arit\u00e9 en \u00e9largissant la collecte empirique de fa\u00e7on cibl\u00e9e vers des sous-populations marginales o\u00f9 l&rsquo;association historique entre les variables se d\u00e9noue. Une alternative \u00e9conom\u00e9trique classique consiste \u00e0 exploiter des <strong>donn\u00e9es de panel<\/strong> (donn\u00e9es longitudinales combinant coupes instantan\u00e9es et s\u00e9ries temporelles). En introduisant des mod\u00e8les \u00e0 effets fixes individuels, on \u00e9limine la composante inter-individuelle statique (souvent responsable de la majeure partie de la colin\u00e9arit\u00e9 transversale) pour focaliser l&rsquo;estimation exclusivement sur les variations intra-individuelles au cours du temps, d\u00e9gageant ainsi une dynamique orthogonale nouvelle.<\/p>\n<h3>6.3 Techniques avanc\u00e9es de mod\u00e9lisation alternative<\/h3>\n<p>Lorsque la structure des donn\u00e9es ne peut \u00eatre modifi\u00e9e et que l&rsquo;estimation des moindres carr\u00e9s ordinaires s&rsquo;av\u00e8re d\u00e9ficiente en raison de la proximit\u00e9 de la singularit\u00e9, le recours \u00e0 des paradigmes d&rsquo;estimation alternatifs devient incontournable.<\/p>\n<p>La m\u00e9thode r\u00e9gulatrice reine est la <strong>r\u00e9gression de cr\u00eate (Ridge Regression)<\/strong>, formalis\u00e9e par Arthur Hoerl et Robert Kennard en 1970. Cette technique r\u00e9sout simultan\u00e9ment les probl\u00e8mes d&rsquo;inversibilit\u00e9 li\u00e9s \u00e0 la singularit\u00e9 et l&rsquo;inflation de variance induite par la multicolin\u00e9arit\u00e9. Elle consiste \u00e0 modifier le syst\u00e8me des \u00e9quations normales en ajoutant une p\u00e9nalit\u00e9 quadratique scalaire sur la norme euclidienne des coefficients (r\u00e9gularisation <em>L<sub>2<\/sub><\/em>) :<\/p>\n<p><em>min<sub>&beta;<\/sub> { ||Y &#8211; X&beta;||\u00b2 + &lambda; ||&beta;||\u00b2 }<\/em><\/p>\n<p>La solution analytique de la r\u00e9gression Ridge s&rsquo;\u00e9crit formellement sous la forme modifi\u00e9e :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>&beta;&#770;<sub>Ridge<\/sub> = (X&rsquo;X + &lambda; I<sub>p<\/sub>)<sup>-1<\/sup> X&rsquo;Y<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">L&rsquo;introduction du terme scalaire <em>&lambda; &gt; 0<\/em> le long de la diagonale principale de la matrice <em>X&rsquo;X<\/em> produit un basculement spectral majeur. Si les valeurs propres de <em>X&rsquo;X<\/em> sont <em>&lambda;<sub>1<\/sub>, &#8230;, &lambda;<sub>p<\/sub><\/em>, les valeurs propres de la matrice modifi\u00e9e <em>(X&rsquo;X + &lambda; I<sub>p<\/sub>)<\/em> deviennent rigoureusement<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>&lambda;<sub>j<\/sub>* = &lambda;<sub>j<\/sub> + &lambda;, &forall; j &isin; {1, &#8230;, p}<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">M\u00eame si la matrice de d\u00e9part <em>X&rsquo;X<\/em> est singuli\u00e8re (avec des valeurs propres nulles <em>&lambda;<sub>j<\/sub> = 0<\/em>), toutes les valeurs propres de la matrice r\u00e9gularis\u00e9e deviennent strictement positives et born\u00e9es inf\u00e9rieurement par <em>&lambda;<\/em>. L&rsquo;inversibilit\u00e9 est math\u00e9matiquement garantie dans 100 % des cas. De surcro\u00eet, le nombre de conditionnement s&rsquo;effondre<\/span> :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>&kappa;<sub>Ridge<\/sub> = ( &lambda;<sub>max<\/sub> + &lambda; ) \/ ( &lambda;<sub>min<\/sub> + &lambda; )<\/em><\/span><\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">En augmentant le param\u00e8tre de r\u00e9gularisation <em>&lambda;<\/em> (s\u00e9lectionn\u00e9 de mani\u00e8re rigoureuse par validation crois\u00e9e), l&rsquo;analyste stabilise spectaculairement les erreurs-types des estimateurs, au prix de l&rsquo;introduction d&rsquo;un biais d&rsquo;estimation d\u00e9terministe ma\u00eetris\u00e9. L&rsquo;arbitrage biais-variance est optimis\u00e9, r\u00e9duisant l&rsquo;erreur quadratique moyenne globale <em>MSE(&beta;&#770;) = Var(&beta;&#770;) + [Biais(&beta;&#770;)]\u00b2<\/em> bien en de\u00e7\u00e0 du plancher offert par les MCO<\/span>.<\/p>\n<p>Une seconde alternative de r\u00e9f\u00e9rence est la <strong>R\u00e9gression par les Moindres Carr\u00e9s Partiels (PLS &#8211; Partial Least Squares)<\/strong>. Contrairement \u00e0 l&rsquo;ACP qui extrait les composantes orthogonales en observant uniquement la variance interne des pr\u00e9dicteurs <em>X<\/em> (proc\u00e9dure non supervis\u00e9e), la r\u00e9gression PLS construit des combinaisons lin\u00e9aires des pr\u00e9dicteurs en maximisant directement la covariance avec la variable cible <em>Y<\/em>. Cette projection s\u00e9quentielle permet de concentrer toute l&rsquo;information utile au sein d&rsquo;un tr\u00e8s petit nombre de scores orthogonaux, \u00e9vacuant d&rsquo;office les sous-espaces de multicolin\u00e9arit\u00e9 parasite sans sacrifier le pouvoir explicatif li\u00e9 \u00e0 la r\u00e9ponse.<\/p>\n<p>Enfin, l&rsquo;approche de la <strong>mod\u00e9lisation bay\u00e9sienne hi\u00e9rarchique<\/strong> offre un cadre th\u00e9orique d&rsquo;une grande souplesse. En imposant des lois a priori informatives ou mod\u00e9r\u00e9ment r\u00e9gularisatrices sur le vecteur des param\u00e8tres (comme des distributions normales centr\u00e9es a priori de type <em>&beta; ~ N(0, &tau;\u00b2)<\/em>, rigoureusement analogues sur le plan de la distribution post\u00e9rieure \u00e0 une p\u00e9nalisation de type Ridge), l&rsquo;inf\u00e9rence bay\u00e9sienne contraint la distribution a posteriori des coefficients \u00e0 rester confin\u00e9e dans un espace compact. L&rsquo;ind\u00e9termination li\u00e9e aux vall\u00e9es plates de la fonction de vraisemblance en cas de colin\u00e9arit\u00e9 critique ou de singularit\u00e9 est lev\u00e9e par la courbure propre de la loi a priori, garantissant des distributions post\u00e9rieures propres et exploitables pour l&rsquo;estimation d&rsquo;intervalles de cr\u00e9dibilit\u00e9.<\/p>\n<h2>7. Foire aux questions (FAQ)<\/h2>\n<h3>7.1 La singularit\u00e9 est-elle simplement une multicolin\u00e9arit\u00e9 parfaite ?<\/h3>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">D&rsquo;un point de vue conceptuel circonscrit \u00e0 l&rsquo;estimation de la r\u00e9gression lin\u00e9aire statistique, l&rsquo;affirmation selon laquelle la singularit\u00e9 correspond \u00e0 une \u00ab multicolin\u00e9arit\u00e9 parfaite \u00bb est admissible. En effet, d\u00e8s lors que la liaison lin\u00e9aire entre les colonnes de <em>X<\/em> devient math\u00e9matiquement exacte (le coefficient de d\u00e9termination auxiliaire <em>R<sub>j<\/sub>\u00b2 = 1<\/em>), le parall\u00e9lotope engendr\u00e9 par ces variables s&rsquo;aplatit totalement, le d\u00e9terminant de la matrice des produits crois\u00e9s s&rsquo;annule (<em>det(X&rsquo;X) = 0<\/em>), et la matrice devient singuli\u00e8re. La colin\u00e9arit\u00e9 parfaite est donc la cause statistique directe qui engendre la singularit\u00e9 de la matrice de conception<\/span>.<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">N\u00e9anmoins, sur le plan formel des sciences math\u00e9matiques, assimiler totalement la singularit\u00e9 \u00e0 une simple colin\u00e9arit\u00e9 parfaite constitue un r\u00e9ductionnisme abusif. La <strong>singularit\u00e9<\/strong> est une propri\u00e9t\u00e9 alg\u00e9brique intrins\u00e8que et g\u00e9n\u00e9rale d&rsquo;une matrice carr\u00e9e, qui trouve son champ d&rsquo;application dans une multitude de domaines totalement ind\u00e9pendants de toute notion de r\u00e9gression, d&rsquo;\u00e9chantillonnage ou de statistique (tels que la r\u00e9solution de syst\u00e8mes d&rsquo;\u00e9quations diff\u00e9rentielles, la m\u00e9canique des fluides, l&rsquo;optique matricielle ou la topologie alg\u00e9brique). De plus, une matrice de r\u00e9gression peut \u00eatre singuli\u00e8re sans qu&rsquo;aucune paire de variables ne soit colin\u00e9aire au sens usuel du terme, simplement parce que la taille d&rsquo;\u00e9chantillon <em>n<\/em> est strictement inf\u00e9rieure au nombre de pr\u00e9dicteurs <em>p<\/em>. Dans ce cas de figure (<em>n &lt; p<\/em>), la singularit\u00e9 de <em>X&rsquo;X<\/em> proc\u00e8de d&rsquo;un confinement dimensionnel inh\u00e9rent au th\u00e9or\u00e8me du rang et non d&rsquo;une relation substantielle existant entre les grandeurs observ\u00e9es. Il convient donc de consid\u00e9rer la colin\u00e9arit\u00e9 parfaite comme une voie d&rsquo;acc\u00e8s empirique menant \u00e0 la singularit\u00e9 matricielle, cette derni\u00e8re constituant le concept alg\u00e9brique englobant<\/span>.<\/p>\n<h3>7.2 Pourquoi un logiciel de mod\u00e9lisation \u00e9limine-t-il automatiquement des pr\u00e9dicteurs en cas de singularit\u00e9 ?<\/h3>\n<p>L&rsquo;\u00e9limination unilat\u00e9rale et automatique de pr\u00e9dicteurs par des progiciels comme R, Stata ou SAS r\u00e9pond \u00e0 une n\u00e9cessit\u00e9 algorithmique et op\u00e9rationnelle absolue. L&rsquo;architecture de ces logiciels est con\u00e7ue pour renvoyer un estimateur ponctuel unique du vecteur <em>&beta;<\/em> et permettre la poursuite du cycle de calcul (calcul des valeurs ajust\u00e9es, des r\u00e9sidus, des tests d&rsquo;hypoth\u00e8ses et des pr\u00e9dictions). Or, comme nous l&rsquo;avons d\u00e9montr\u00e9, face \u00e0 une matrice singuli\u00e8re, le syst\u00e8me des \u00e9quations normales admet une infinit\u00e9 ind\u00e9nombrable de solutions minimisant \u00e9galement la somme des r\u00e9sidus au carr\u00e9. Si le logiciel ne for\u00e7ait pas un choix d\u00e9terministe, il devrait interrompre son ex\u00e9cution par un message d&rsquo;erreur fatale, bloquant tout traitement ult\u00e9rieur.<\/p>\n<p>Pour contourner cette aporie sans interrompre l&rsquo;analyste, les routines de d\u00e9composition num\u00e9rique (notamment la d\u00e9composition QR bas\u00e9e sur les r\u00e9flecteurs de Householder avec permutation dynamique de colonnes) balaient la matrice <em>X<\/em> de gauche \u00e0 droite. L&rsquo;algorithme conserve les premi\u00e8res colonnes ind\u00e9pendantes qu&rsquo;il rencontre. D\u00e8s qu&rsquo;il atteint une colonne dont la projection orthogonale sur l&rsquo;espace engendr\u00e9 par les colonnes pr\u00e9c\u00e9dentes est \u00e9gale au vecteur lui-m\u00eame (ce qui mat\u00e9rialise une combinaison lin\u00e9aire exacte, d\u00e9tect\u00e9e par un pivot inf\u00e9rieur au seuil de tol\u00e9rance num\u00e9rique machine), cette colonne est d\u00e9clar\u00e9e redondante ou <em>aliased<\/em>. L&rsquo;algorithme lui attribue d&rsquo;autorit\u00e9 un coefficient nul ou une valeur non d\u00e9finie (<code>NA<\/code>), puis poursuit sa factorisation sur les colonnes restantes. L&rsquo;analyste doit toutefois garder \u00e0 l&rsquo;esprit que cette \u00e9limination automatique est purement s\u00e9quentielle et d\u00e9pend enti\u00e8rement de l&rsquo;ordre physique des colonnes dans son jeu de donn\u00e9es : si l&rsquo;ordre des colonnes est interverti, la variable neutralis\u00e9e ne sera pas la m\u00eame, bien que la qualit\u00e9 d&rsquo;ajustement globale du mod\u00e8le final reste rigoureusement invariante.<\/p>\n<h3>7.3 La r\u00e9gression Ridge peut-elle r\u00e9soudre \u00e0 la fois la multicolin\u00e9arit\u00e9 et la singularit\u00e9 ?<\/h3>\n<p>Oui, la <strong>r\u00e9gression Ridge<\/strong> (ou r\u00e9gularisation de Tikhonov) constitue l&rsquo;un des tr\u00e8s rares op\u00e9rateurs d&rsquo;estimation capables d&rsquo;annihiler simultan\u00e9ment la singularit\u00e9 alg\u00e9brique et les d\u00e9sordres caus\u00e9s par une violente multicolin\u00e9arit\u00e9. La raison de cette double efficacit\u00e9 r\u00e9side dans sa formulation matricielle explicite :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\"><em>&beta;&#770;<sub>Ridge<\/sub> = (X&rsquo;X + &lambda; I<sub>p<\/sub>)<sup>-1<\/sup> X&rsquo;Y<\/em><\/span><\/p>\n<p>Sur le front de la <strong>singularit\u00e9<\/strong> : <span class=\"arabpsy-eq\" dir=\"ltr\">si la matrice de dispersion <em>X&rsquo;X<\/em> est singuli\u00e8re, son spectre comporte des valeurs propres nulles (<em>&lambda;<sub>j<\/sub> = 0<\/em>), ce qui interdisait jusqu&rsquo;alors son inversion. L&rsquo;adjonction de la matrice d&rsquo;identit\u00e9 mise \u00e0 l&rsquo;\u00e9chelle <em>&lambda; I<sub>p<\/sub><\/em> (pour tout scalaire <em>&lambda; &gt; 0<\/em>) a pour propri\u00e9t\u00e9 math\u00e9matique fondamentale de transposer l&rsquo;int\u00e9gralit\u00e9 du spectre matriciel : chaque valeur propre <em>&lambda;<sub>j<\/sub><\/em> devient <em>&lambda;<sub>j<\/sub> + &lambda;<\/em>. Aucune valeur propre ne peut d\u00e8s lors \u00eatre inf\u00e9rieure \u00e0 <em>&lambda;<\/em>. Puisque <em>&lambda; &gt; 0<\/em>, l&rsquo;ensemble des valeurs propres est strictement positif. La matrice <em>(X&rsquo;X + &lambda; I<sub>p<\/sub>)<\/em> devient sym\u00e9trique d\u00e9finie positive stricte, ce qui garantit de fa\u00e7on universelle et absolue l&rsquo;existence et l&rsquo;unicit\u00e9 de son inverse, m\u00eame dans les sc\u00e9narios extr\u00eames o\u00f9 <em>p &gt;&gt; n<\/em><\/span>.<\/p>\n<p>Sur le front de la <strong>multicolin\u00e9arit\u00e9<\/strong> : en rehaussant uniform\u00e9ment le plancher spectral de la matrice par l&rsquo;ajout de <em>&lambda;<\/em>, la r\u00e9gression Ridge compresse consid\u00e9rablement le nombre de conditionnement global de l&rsquo;op\u00e9rateur d&rsquo;inversion. Les \u00e9l\u00e9ments diagonaux de la matrice inverse cessent d&rsquo;exploser vers des valeurs d\u00e9mesur\u00e9es. Il en r\u00e9sulte un effondrement spectaculaire de la variance d&rsquo;\u00e9chantillonnage des coefficients estim\u00e9s : les oscillations erratiques d&rsquo;un \u00e9chantillon \u00e0 l&rsquo;autre sont neutralis\u00e9es, les coefficients reprennent des grandeurs physiques plausibles et la stabilit\u00e9 pr\u00e9dictive est restaur\u00e9e. La seule contrepartie impos\u00e9e par ce traitement r\u00e9side dans l&rsquo;abandon de l&rsquo;hypoth\u00e8se de non-biais : l&rsquo;estimateur Ridge est structurellement biais\u00e9 vers l&rsquo;origine (effet de r\u00e9tr\u00e9cissement ou <em>shrinkage<\/em>), le mod\u00e9lisateur acceptant ce biais d\u00e9lib\u00e9r\u00e9 pour s&rsquo;affranchir d&rsquo;une variance d&rsquo;estimation intol\u00e9rable.<\/p>\n<h2>8. Conclusion : Synth\u00e8se rigoureuse et bonnes pratiques de mod\u00e9lisation<\/h2>\n<h3>8.1 R\u00e9capitulation des distinctions fondamentales<\/h3>\n<p>Au terme de cette analyse approfondie, il appara\u00eet avec nettet\u00e9 que la fronti\u00e8re dissociant la multicolin\u00e9arit\u00e9 de la singularit\u00e9 structure l&rsquo;\u00e9difice de la mod\u00e9lisation statistique lin\u00e9aire selon deux r\u00e9gimes d&rsquo;anomalies fondamentalement distincts :<\/p>\n<p><span class=\"arabpsy-eq\" dir=\"ltr\">D&rsquo;un c\u00f4t\u00e9, la <strong>singularit\u00e9<\/strong> repr\u00e9sente une <strong>barri\u00e8re alg\u00e9brique infranchissable<\/strong>. Elle atteste d&rsquo;une contradiction logique interne dans la construction du mod\u00e8le ou d&rsquo;une carence d&rsquo;observation absolue (<em>p &gt; n<\/em>). Elle an\u00e9antit la notion m\u00eame de solution unique aux moindres carr\u00e9s en vidant le syst\u00e8me de son inversibilit\u00e9 au sens de Cramer, rendant les param\u00e8tres structurels non identifiables. Sa r\u00e9solution ne peut \u00eatre d\u00e9l\u00e9gu\u00e9e \u00e0 une simple accumulation passive de donn\u00e9es observationnelles : elle r\u00e9clame imp\u00e9rativement une intervention d\u00e9terministe de l&rsquo;analyste portant sur la re-sp\u00e9cification structurelle de la matrice de conception, la suppression des redondances tautologiques, ou le basculement vers des paradigmes r\u00e9gularis\u00e9s de r\u00e9duction de dimension<\/span>.<\/p>\n<p>D&rsquo;un autre c\u00f4t\u00e9, la <strong>multicolin\u00e9arit\u00e9<\/strong> constitue une <strong>limite statistique li\u00e9e \u00e0 l&rsquo;\u00e9chantillonnage<\/strong>. Elle ne viole aucune des hypoth\u00e8ses fondamentales d&rsquo;inversibilit\u00e9 du th\u00e9or\u00e8me de Gauss-Markov et pr\u00e9serve le caract\u00e8re sans biais de l&rsquo;estimateur. Elle n&#8217;emp\u00eache nullement l&rsquo;inversion de la matrice normale mais en d\u00e9grade le conditionnement spectral, transformant les inf\u00e9rences marginales en un exercice d&rsquo;une extr\u00eame impr\u00e9cision caract\u00e9ris\u00e9 par le gonflement des erreurs-types et l&rsquo;effondrement de la puissance des tests individuels. Elle est un probl\u00e8me de \u00ab bruit \u00bb et de \u00ab manque de contraste \u00bb, que l&rsquo;accroissement cibl\u00e9 de l&rsquo;\u00e9chantillon ou l&rsquo;arbitrage biais-variance (via les p\u00e9nalisations <em>L<sub>2<\/sub><\/em>) permet de canaliser m\u00e9thodiquement.<\/p>\n<h3>8.2 Recommandations m\u00e9thodologiques pour le praticien<\/h3>\n<p>Afin de pr\u00e9munir les projets d&rsquo;analyse quantitative contre les d\u00e9rives interpr\u00e9tatives et les \u00e9checs algorithmiques induits par ces pathologies matricielles, il est recommand\u00e9 aux chercheurs et praticiens d&rsquo;adopter un protocole de mod\u00e9lisation syst\u00e9matique articul\u00e9 autour de trois principes d&rsquo;action directeurs :<\/p>\n<p><strong>1. Conduire une exploration structurelle pr\u00e9alable de la matrice de conception.<\/strong><br \/>\nAvant m\u00eame de lancer la moindre r\u00e9gression ou d&rsquo;appeler aveugl\u00e9ment les routines d&rsquo;ajustement de haut niveau, il est indispensable de soumettre le tableau des r\u00e9gresseurs \u00e0 un contr\u00f4le d&rsquo;int\u00e9grit\u00e9 alg\u00e9brique :<\/p>\n<ul>\n<li>V\u00e9rifier le rang de la matrice <em>X<\/em> par rapport \u00e0 son nombre de colonnes via des routines de d\u00e9composition QR ou SVD.<\/li>\n<li>Auditer l&rsquo;ensemble des encodages de variables cat\u00e9gorielles afin de traquer d&rsquo;\u00e9ventuels pi\u00e8ges de redondance indicatrice.<\/li>\n<li>Analyser les matrices de corr\u00e9lation et proc\u00e9der au calcul direct des indices de conditionnement de Belsley, Kuh et Welsch pour situer la matrice sur le continuum du mauvais conditionnement.<\/li>\n<\/ul>\n<p><strong>2. Privil\u00e9gier la th\u00e9orie du domaine avant la r\u00e9gularisation m\u00e9canique.<\/strong><br \/>\nLorsqu&rsquo;un diagnostic r\u00e9v\u00e8le un VIF intol\u00e9rable ou une exclusion de variable pour singularit\u00e9, la tentation est grande d&rsquo;appliquer imm\u00e9diatement un algorithme p\u00e9nalis\u00e9 de type Ridge ou Lasso pour masquer l&rsquo;anomalie sans chercher \u00e0 en comprendre l&rsquo;\u00e9tiologie. Une telle d\u00e9marche rel\u00e8ve d&rsquo;une r\u00e9gression m\u00e9thodologique. Le praticien avis\u00e9 doit en premier lieu r\u00e9interroger son cadre th\u00e9orique :<\/p>\n<ul>\n<li>Pourquoi ces variables fluctuent-elles conjointement ?<\/li>\n<li>S&rsquo;agit-il d&rsquo;un construit conceptuel unique d\u00e9clin\u00e9 en plusieurs mesures redondantes qu&rsquo;il conviendrait de synth\u00e9tiser au sein d&rsquo;un score factoriel composite unifi\u00e9 ?<\/li>\n<li>Existe-t-il une liaison comptable formelle oubli\u00e9e dans le dictionnaire des variables ?<\/li>\n<\/ul>\n<p>L&rsquo;assainissement th\u00e9orique du mod\u00e8le doit syst\u00e9matiquement primer sur les palliatifs algorithmiques.<\/p>\n<p><strong>3. Documenter rigoureusement les arbitrages et assurer la reproductibilit\u00e9.<\/strong><br \/>\nLorsqu&rsquo;un solveur statistique proc\u00e8de \u00e0 l&rsquo;exclusion d&rsquo;une colonne redondante ou que l&rsquo;analyste d\u00e9cide de recourir \u00e0 une estimation biais\u00e9e pour stabiliser la variance, ces op\u00e9rations modifient en profondeur la nature des hypoth\u00e8ses test\u00e9es. Il est imp\u00e9ratif, dans les rapports de recherche ou les publications scientifiques :<\/p>\n<ul>\n<li>De consigner explicitement la liste des variables omises pour cause de singularit\u00e9 et d&rsquo;expliciter le syst\u00e8me de contrastes adopt\u00e9 pour les modalit\u00e9s qualitatives.<\/li>\n<li>De publier les m\u00e9triques diagnostiques compl\u00e8tes (VIF, nombres de conditionnement spectraux) pour \u00e9clairer la lecture des \u00e9carts-types.<\/li>\n<li>D&rsquo;indiquer, en cas de recours \u00e0 la r\u00e9gularisation Ridge ou Elastic Net, la valeur exacte de l&rsquo;hyperparam\u00e8tre de p\u00e9nalit\u00e9 s\u00e9lectionn\u00e9 par validation crois\u00e9e et la fonction de co\u00fbt optimis\u00e9e.<\/li>\n<\/ul>\n<p>Ce niveau d&rsquo;exigence formelle est la condition sine qua non pour transformer le traitement de la matrice de donn\u00e9es d&rsquo;une obscure alchimie algorithmique en une d\u00e9marche scientifique transparente, robuste et pleinement reproductible.<\/p>\n<h2>R\u00e9f\u00e9rences<\/h2>\n<p>Belsley, D. A., Kuh, E., &amp; Welsch, R. E. (1980). <em>Regression diagnostics: Identifying influential data and sources of collinearity<\/em>. John Wiley &amp; Sons. https:\/\/doi.org\/10.1002\/0471725153<\/p>\n<p>Farrar, D. E., &amp; Glauber, R. R. (1967). Multicollinearity in regression analysis: The problem revisited. <em>The Review of Economics and Statistics<\/em>, 49(1), 92-107. https:\/\/doi.org\/10.2307\/1937887<\/p>\n<p>Frisch, R. (1934). <em>Statistical confluence analysis by means of complete regression systems<\/em> (Publication No. 5). University of Oslo, Economic Institute.<\/p>\n<p>Goldberger, A. S. (1991). <em>A course in econometrics<\/em>. Harvard University Press.<\/p>\n<p>Greene, W. H. (2018). <em>Econometric analysis<\/em> (8th ed.). Pearson.<\/p>\n<p>Hastie, T., Tibshirani, R., &amp; Friedman, J. (2009). <em>The elements of statistical learning: Data mining, inference, and prediction<\/em> (2nd ed.). Springer. https:\/\/doi.org\/10.1007\/978-0-387-84858-7<\/p>\n<p>Hoerl, A. E., &amp; Kennard, R. W. (1970). Ridge regression: Biased estimation for nonorthogonal problems. <em>Technometrics<\/em>, 12(1), 55-67. https:\/\/doi.org\/10.1080\/00401706.1970.10488634<\/p>\n<p>Marquardt, D. W. (1970). Generalized inverses, ridge regression, biased linear estimation, and nonlinear estimation. <em>Technometrics<\/em>, 12(3), 591-612. https:\/\/doi.org\/10.1080\/00401706.1970.10488699<\/p>\n<p>Turing, A. M. (1948). Rounding-off errors in matrix processes. <em>The Quarterly Journal of Mechanics and Applied Mathematics<\/em>, 1(1), 287-308. https:\/\/doi.org\/10.1093\/qjmam\/1.1.287<\/p>\n<p>Wooldridge, J. M. (2016). <em>Introductory econometrics: A modern approach<\/em> (6th ed.). Cengage Learning.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Analyse comparative approfondie entre la multicolin\u00e9arit\u00e9 et la singularit\u00e9 matricielle : fondements th\u00e9oriques, diagnostics, impacts et rem\u00e9diations.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","template":"","categories":[43376,2464,1838],"tags":[4178,3733,2230,4787,43403],"class_list":["post-25816","psych_comparison","type-psych_comparison","status-publish","hentry","category-econometrie","category-science-des-donnees","category-statistiques","tag-algebre-lineaire","tag-diagnostic-de-regression","tag-moindres-carres-ordinaires","tag-multicolinearite","tag-singularite-matricielle"],"_links":{"self":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_comparison\/25816","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_comparison"}],"about":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/types\/psych_comparison"}],"author":[{"embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=25816"}],"version-history":[{"count":0,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_comparison\/25816\/revisions"}],"wp:attachment":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=25816"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=25816"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=25816"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}