{"id":25790,"date":"2026-11-08T15:37:36","date_gmt":"2026-11-08T15:37:36","guid":{"rendered":"https:\/\/french.arabpsychology.com\/?psych_comparison=regression-lineaire-vs-regression-logistique"},"modified":"2026-11-08T15:37:36","modified_gmt":"2026-11-08T15:37:36","slug":"regression-lineaire-vs-regression-logistique","status":"publish","type":"psych_comparison","link":"https:\/\/french.arabpsychology.com\/?psych_comparison=regression-lineaire-vs-regression-logistique","title":{"rendered":"R\u00e9gression lin\u00e9aire vs r\u00e9gression logistique"},"content":{"rendered":"

Dans le paysage contemporain de la science des donn\u00e9es et de l’\u00e9conom\u00e9trie, la mod\u00e9lisation statistique constitue l’ossature fondamentale sur laquelle repose toute prise de d\u00e9cision automatis\u00e9e. Qu’il s’agisse d’anticiper les fluctuations macro\u00e9conomiques, d’\u00e9valuer la probabilit\u00e9 de r\u00e9cidive d’une pathologie en milieu hospitalier ou d’optimiser l’allocation de capitaux sur les march\u00e9s financiers, les praticiens s’appuient sur des structures formalis\u00e9es permettant d’extraire des signaux exploitables \u00e0 partir d’observations empiriques bruit\u00e9es. Au c\u0153ur de cet arsenal math\u00e9matique, deux architectures se distinguent par leur long\u00e9vit\u00e9, leur transparence et leur omnipr\u00e9sence : la r\u00e9gression lin\u00e9aire et la r\u00e9gression logistique. Bien que toutes deux partagent un socle conceptuel articul\u00e9 autour d’une combinaison lin\u00e9aire de variables pr\u00e9dictives, elles poursuivent des finalit\u00e9s fonctionnelles, analytiques et probabilistes fondamentalement divergentes.<\/p>\n

La confusion entre ces deux paradigmes demeure paradoxalement l’un des \u00e9cueils les plus r\u00e9currents rencontr\u00e9s lors de l’apprentissage des sciences statistiques appliqu\u00e9es. L’emploi vernaculaire du substantif \u00ab r\u00e9gression \u00bb pour d\u00e9signer simultan\u00e9ment un estimateur de quantit\u00e9s scalaires continues et un classifieur d’\u00e9v\u00e9nements discrets participe largement \u00e0 obscurcir la fronti\u00e8re qui les s\u00e9pare. Tandis que la r\u00e9gression lin\u00e9aire cherche \u00e0 projeter orthogonalement un sous-espace d’observations afin d’en d\u00e9duire une fonction continue d’esp\u00e9rance conditionnelle, la r\u00e9gression logistique proc\u00e8de \u00e0 une transformation non lin\u00e9aire de cette projection pour contraindre l’espace d’arriv\u00e9e \u00e0 l’intervalle des probabilit\u00e9s. Cette divergence d’apparence g\u00e9om\u00e9trique \u00e9l\u00e9mentaire entra\u00eene en r\u00e9alit\u00e9 des cons\u00e9quences m\u00e9thodologiques consid\u00e9rables sur le choix des fonctions de perte, la r\u00e9gularit\u00e9 des surfaces d’optimisation, la validit\u00e9 des hypoth\u00e8ses d’inf\u00e9rence et la s\u00e9mantique m\u00eame des coefficients estim\u00e9s.<\/p>\n

Le pr\u00e9sent trait\u00e9 propose une d\u00e9construction exhaustive, comparative et math\u00e9matiquement rigoureuse de ces deux approches fondamentales de l’apprentissage supervis\u00e9. En explorant leurs racines historiques, leurs th\u00e9or\u00e8mes sous-jacents, leurs m\u00e9canismes d’optimisation algorithmique et leurs domaines de validit\u00e9 respectifs, cet \u00e9crit a pour vocation d’offrir une r\u00e9f\u00e9rence acad\u00e9mique et technique compl\u00e8te. \u00c0 travers une analyse multidimensionnelle embrassant aussi bien la th\u00e9orie de la mesure, le calcul diff\u00e9rentiel matriciel, la th\u00e9orie de l’information et les contraintes computationnelles du traitement de donn\u00e9es massives, le praticien ou le chercheur trouvera ici les rep\u00e8res indispensables pour arbitrer judicieusement entre mod\u00e9lisation continue et discrimination cat\u00e9gorielle.<\/p>\n

1. Introduction aux mod\u00e8les de r\u00e9gression en apprentissage automatique et statistiques<\/h2>\n

1.1 D\u00e9finition contextuelle et taxonomie des mod\u00e8les lin\u00e9aires g\u00e9n\u00e9ralis\u00e9s<\/h3>\n

L’apprentissage automatique supervis\u00e9 moderne se structure traditionnellement autour de la recherche d’une fonction d’association inconnue reliant un ensemble de variables explicatives ou covariables, regroup\u00e9es au sein d’un vecteur $X in \\mathbb{R}^p$<\/span>, \u00e0 une variable cible d\u00e9pendante not\u00e9e $Y$<\/span>. Historiquement, cette qu\u00eate d’ad\u00e9quation entre l’observation et la th\u00e9orie trouve ses origines formelles dans les travaux fondamentaux de Carl Friedrich Gauss et d’Adrien-Marie Legendre au tournant du XIXe si\u00e8cle, impuls\u00e9s par des probl\u00e9matiques d’astronomie et de g\u00e9od\u00e9sie c\u00e9leste n\u00e9cessitant la r\u00e9solution de syst\u00e8mes surd\u00e9termin\u00e9s. L’introduction de la m\u00e9thode des moindres carr\u00e9s a ainsi constitu\u00e9 l’acte de naissance de la mod\u00e9lisation statistique param\u00e9trique, postulant que les variations inexpliqu\u00e9es de la variable continue $Y$<\/span> pouvaient \u00eatre assimil\u00e9es \u00e0 des perturbations al\u00e9atoires r\u00e9parties selon une distribution normale sym\u00e9trique.<\/p>\n

Toutefois, la rigidit\u00e9 inh\u00e9rente \u00e0 l’hypoth\u00e8se de normalit\u00e9 et la contrainte d’un espace de sortie non born\u00e9 ont rapidement r\u00e9v\u00e9l\u00e9 leurs limites d\u00e8s lors que les donn\u00e9es collect\u00e9es concernaient des proportions, des d\u00e9nombrements ou des occurrences binaires. C’est dans ce contexte th\u00e9orique restreint que John Nelder et Robert Wedderburn ont r\u00e9alis\u00e9, en 1972, une synth\u00e8se m\u00e9thodologique monumentale en introduisant le cadre unificateur des Mod\u00e8les Lin\u00e9aires G\u00e9n\u00e9ralis\u00e9s (GLM, pour Generalized Linear Models<\/em>). Cette avanc\u00e9e majeure a permis d’englober la r\u00e9gression lin\u00e9aire classique, la r\u00e9gression logistique, la r\u00e9gression de Poisson et les mod\u00e8les gamma au sein d’une m\u00eame famille exponentielle de distributions statistiques. Dans ce formalisme \u00e9l\u00e9gant, l’esp\u00e9rance conditionnelle $\\mathbb{E}[Y|X] = \\mu$<\/span> n’est plus obligatoirement contrainte \u00e0 une \u00e9galit\u00e9 directe avec le pr\u00e9dicteur lin\u00e9aire $\\eta = X\\beta$<\/span>, mais s’articule par l’interm\u00e9diaire d’une fonction de lien monotone et diff\u00e9rentiable $g(\\cdot)$<\/span> telle que $g(\\mu) = \\eta$<\/span>.<\/p>\n

Cette taxonomie moderne permet d’\u00e9tablir une fronti\u00e8re \u00e9pist\u00e9mologique nette entre deux grands r\u00e9gimes de l’inf\u00e9rence : l’estimation quantitative de grandeurs continues, relevant de la r\u00e9gression au sens strict, et la pr\u00e9diction de probabilit\u00e9s d’appartenance \u00e0 des cat\u00e9gories exclusives, relevant formellement de la classification statistique. La distinction ne rel\u00e8ve point d’un simple caprice terminologique ; elle gouverne en profondeur la structure topologique de l’espace d’arriv\u00e9e, les propri\u00e9t\u00e9s de l’\u00e9chantillonnage asymptotique ainsi que les crit\u00e8res d’optimalit\u00e9 th\u00e9orique employ\u00e9s pour juger de la validit\u00e9 d’un mod\u00e8le estim\u00e9 face \u00e0 la r\u00e9alit\u00e9 empirique.<\/p>\n

1.2 Origine de la confusion conceptuelle entre les deux algorithmes<\/h3>\n

L’ambigu\u00eft\u00e9 persistante qui entoure la nature exacte de la r\u00e9gression logistique prend en grande partie sa source dans son appellation historique consacr\u00e9e. Dans la litt\u00e9rature de la statistique classique et de l’\u00e9conom\u00e9trie, le vocable \u00ab r\u00e9gression \u00bb qualifie tout protocole cherchant \u00e0 mod\u00e9liser la valeur moyenne conditionnelle d’une variable r\u00e9ponse \u00e0 partir de plusieurs facteurs d’influence. Dans le cas de la r\u00e9gression logistique, la cible initiale est une variable al\u00e9atoire binaire prenant ses valeurs dans le sous-ensemble discret ${0, 1}$<\/span>. Or, l’esp\u00e9rance conditionnelle d’une loi de Bernoulli correspond pr\u00e9cis\u00e9ment au param\u00e8tre de probabilit\u00e9 sous-jacent, \u00e0 savoir $\\mathbb{E}[Y|X] = P(Y=1|X)$<\/span>. Ainsi, sur le plan strictement probabiliste, l’algorithme r\u00e9gresse effectivement une valeur continue comprise entre 0 et 1 : la probabilit\u00e9 de succ\u00e8s.<\/p>\n

Cependant, dans la nomenclature contemporaine de l’apprentissage automatique, les praticiens s\u00e9parent rigoureusement les t\u00e2ches en fonction de la sortie finale exploit\u00e9e op\u00e9rationnellement. Si l’objectif applicatif consiste \u00e0 assigner un label ou une classe discr\u00e8te \u00e0 une observation donn\u00e9e en introduisant un seuil de d\u00e9cision arbitraire (traditionnellement fix\u00e9 \u00e0 0,5), le mod\u00e8le fonctionne de facto comme un classifieur binaire. Cette double identit\u00e9 \u2014 r\u00e9gresseur de probabilit\u00e9s dans sa m\u00e9canique interne et classifieur cat\u00e9goriel dans son exploitation d\u00e9cisionnelle \u2014 engendre une incompr\u00e9hension r\u00e9currente. Les similitudes structurelles imm\u00e9diates n’arrangent rien : les deux m\u00e9thodes s’appuient sur un hyperplan d\u00e9fini par le produit scalaire des variables explicatives pond\u00e9r\u00e9es par leurs coefficients directeurs, cr\u00e9ant l’illusion d’une proximit\u00e9 algorithmique quasi totale.<\/p>\n

Cette fausse sym\u00e9trie conduit fr\u00e9quemment les praticiens novices en ing\u00e9nierie des donn\u00e9es \u00e0 commettre des fautes m\u00e9thodologiques s\u00e9v\u00e8res. L’erreur la plus pr\u00e9judiciable consiste \u00e0 ajuster un mod\u00e8le de r\u00e9gression lin\u00e9aire ordinaire sur une variable indicatrice binaire sous pr\u00e9texte de simplicit\u00e9 de calcul. Une telle d\u00e9marche, connue sous le nom de \u00ab mod\u00e8le de probabilit\u00e9 lin\u00e9aire \u00bb, engendre des pr\u00e9dictions math\u00e9matiquement absurdes situ\u00e9es en dehors du segment $[0, 1]$<\/span>, viole structurellement l’hypoth\u00e8se canonique d’homosc\u00e9dasticit\u00e9 et d\u00e9nature compl\u00e8tement l’\u00e9valuation de l’incertitude statistique associ\u00e9e aux pr\u00e9visions, compromettant irr\u00e9m\u00e9diablement l’auditabilit\u00e9 des syst\u00e8mes d’aide \u00e0 la d\u00e9cision.<\/p>\n

1.3 Port\u00e9e et objectifs m\u00e9thodologiques de l’\u00e9tude comparative<\/h3>\n

Face \u00e0 ces divergences et points de contact, ce trait\u00e9 se donne pour mandat d’\u00e9tablir une cartographie comparative exhaustive et sans concession entre la r\u00e9gression lin\u00e9aire et la r\u00e9gression logistique. Il s’agit de d\u00e9passer les raccourcis vulgaris\u00e9s souvent v\u00e9hicul\u00e9s dans les tutoriels d’ing\u00e9nierie logicielle pour revenir aux sources formelles de l’inf\u00e9rence statistique et de l’alg\u00e8bre lin\u00e9aire appliqu\u00e9e. L’ambition est d’\u00e9quiper le lecteur d’un cadre conceptuel inattaquable permettant de discriminer avec pr\u00e9cision les contextes o\u00f9 chacune de ces architectures s’av\u00e8re optimale, sous-optimale ou formellement invalide.<\/p>\n

L’analyse couvrira l’int\u00e9gralit\u00e9 du cycle de vie m\u00e9thodologique de ces mod\u00e8les : des postulats axiomatiques r\u00e9gissant la structure des r\u00e9sidus jusqu’aux \u00e9quations normales, en passant par les th\u00e9ories asymptotiques du maximum de vraisemblance, les topologies des espaces de perte, les m\u00e9triques d’\u00e9valuation non param\u00e9triques et les techniques avanc\u00e9es de r\u00e9gularisation sous contraintes matricielles. \u00c0 travers ce prisme comparatif, les fronti\u00e8res applicatives dict\u00e9es par la th\u00e9orie de la mesure et l’analyse fonctionnelle seront rigoureusement explicit\u00e9es.<\/p>\n

Enfin, cet ouvrage entend constituer un guide d\u00e9cisionnel p\u00e9renne pour les architectes de donn\u00e9es, chercheurs et statisticiens confront\u00e9s \u00e0 la conception de pipelines analytiques critiques. Qu’il s’agisse de mod\u00e9liser des ph\u00e9nom\u00e8nes financiers assujettis \u00e0 des r\u00e9glementations strictes d’explicabilit\u00e9 ou de d\u00e9ployer des mod\u00e8les de diagnostic clinique o\u00f9 l’erreur de pr\u00e9diction engage un risque vital, la ma\u00eetrise des fondements diff\u00e9renciant la projection lin\u00e9aire de l’ajustement sigmo\u00efdal constitue un pr\u00e9requis incontournable \u00e0 toute pratique rigoureuse de la mod\u00e9lisation statistique.<\/p>\n

2. Fondements th\u00e9oriques et math\u00e9matiques de la r\u00e9gression lin\u00e9aire<\/h2>\n

2.1 Formulation alg\u00e9brique et m\u00e9thode des moindres carr\u00e9s ordinaires (MCO)<\/h3>\n

La formulation canonique de la r\u00e9gression lin\u00e9aire multiple postule l’existence d’une relation d’additivit\u00e9 lin\u00e9aire entre un vecteur al\u00e9atoire d’observations d\u00e9pendantes $Y in \\mathbb{R}^n$<\/span> et une matrice d’exp\u00e9rience $X in \\mathbb{R}^{n \\times (p+1)}$<\/span>, augment\u00e9e d’une colonne unitaire mod\u00e9lisant la constante d’ordonn\u00e9e \u00e0 l’origine. L’\u00e9quation matricielle fondamentale s’\u00e9crit sous la forme suivante :<\/p>\n

$$Y = X\\beta + \\varepsilon$$<\/span><\/p>\n

o\u00f9 $\\beta in \\mathbb{R}^{p+1}$<\/span> repr\u00e9sente le vecteur des param\u00e8tres inconnus r\u00e9gissant l’amplitude et le signe des effets marginaux de chaque covariable, et $\\varepsilon in \\mathbb{R}^n$<\/span> d\u00e9signe le vecteur des perturbations al\u00e9atoires inobservables, capturant l’ensemble des variations exog\u00e8nes non int\u00e9gr\u00e9es dans le mod\u00e8le. L’objectif premier de la m\u00e9thode des moindres carr\u00e9s ordinaires (MCO) consiste \u00e0 d\u00e9terminer un estimateur $\\hat{\\beta}$<\/span> capable de minimiser l’\u00e9nergie globale du vecteur r\u00e9siduel, mat\u00e9rialis\u00e9e par la somme des carr\u00e9s des \u00e9carts entre les observations empiriques et les valeurs ajust\u00e9es par l’hyperplan :<\/p>\n

$$S(\\beta) = |Y – Xbeta|_2^2 = (Y – X\\beta)^T(Y – X\\beta) = Y^TY – 2\\beta^TX^TY + \\beta^TX^TX\\beta$$<\/span><\/p>\n

La diff\u00e9rentiation matricielle de cette forme quadratique scalaire par rapport au vecteur de param\u00e8tres $\\beta$<\/span> conduit au calcul du gradient formel :<\/p>\n

$$\\nabla_{\\beta} S(\\beta) = -2X^TY + 2X^TX\\beta$$<\/span><\/p>\n

L’annulation de ce gradient sous la condition n\u00e9cessaire et suffisante du premier ordre aboutit au syst\u00e8me classique des \u00e9quations normales :<\/p>\n

$$X^TX\\hat{\\beta} = X^TY$$<\/span><\/p>\n

Sous la condition formelle d’ind\u00e9pendance lin\u00e9aire des colonnes de la matrice d’exp\u00e9rience $X$<\/span>, celle-ci est de rang plein \u00e9gal \u00e0 $p+1$<\/span>, ce qui garantit le caract\u00e8re strictement d\u00e9fini positif et par voie de cons\u00e9quence l’inversibilit\u00e9 absolue du produit matriciel de Gram $X^TX$<\/span>. Il en r\u00e9sulte une solution analytique exacte, unique et ferm\u00e9e pour le vecteur des coefficients estim\u00e9s :<\/p>\n

$$\\hat{\\beta} = (X^TX)^{-1}X^TY$$<\/span><\/p>\n

Sur le plan g\u00e9om\u00e9trique, l’application lin\u00e9aire d\u00e9finie par la matrice chapeau $H = X(X^TX)^{-1}X^T$<\/span> op\u00e8re une projection orthogonale du vecteur des donn\u00e9es $Y$<\/span> de l’espace de dimension $n$<\/span> sur le sous-espace vectoriel de dimension $p+1$<\/span> engendr\u00e9 par les colonnes de $X$<\/span>. La valeur pr\u00e9dite s’exprime ainsi par $\\hat{Y} = HY$<\/span>, conf\u00e9rant aux r\u00e9sidus $\\hat{\\varepsilon} = Y – \\hat{Y} = (I – H)Y$<\/span> une propri\u00e9t\u00e9 d’orthogonalit\u00e9 stricte avec l’ensemble des colonnes de $X$<\/span>, telle que $X^T\\hat{\\varepsilon} = 0$<\/span>. Lorsque le volume d’\u00e9chantillonnage $n$<\/span> et la dimensionnalit\u00e9 $p$<\/span> atteignent des \u00e9chelles industrielles rendant l’inversion de la matrice $X^TX$<\/span> prohibitive en co\u00fbt de calcul $\\mathcal{O}(p^3)$<\/span>, les praticiens substituent \u00e0 cette r\u00e9solution alg\u00e9brique directe des techniques it\u00e9ratives d’optimisation num\u00e9rique, telles que la descente de gradient stochastique (SGD), qui ajuste les poids de mani\u00e8re progressive le long de la ligne de plus grande pente de la surface de co\u00fbt quadratique.<\/p>\n

2.2 Hypoth\u00e8ses sous-jacentes du th\u00e9or\u00e8me de Gauss-Markov<\/h3>\n

L’attrait exceptionnel de l’estimateur des moindres carr\u00e9s ordinaires repose sur un ensemble de conditions formelles r\u00e9unies au sein du c\u00e9l\u00e8bre th\u00e9or\u00e8me de Gauss-Markov, dont la validation conf\u00e8re \u00e0 $\\hat{\\beta}$<\/span> le statut d’estimateur BLUE (Best Linear Unbiased Estimator<\/em>, ou Meilleur Estimateur Lin\u00e9aire Sans Biais). Ce statut signifie qu’au sein de la classe int\u00e9grale des estimateurs lin\u00e9aires et sans biais de $\\beta$<\/span>, l’estimateur MCO poss\u00e8de la matrice de variance-covariance minimale au sens de l’ordre partiel sur les matrices sym\u00e9triques semi-d\u00e9finies positives. La r\u00e9alisation de cet optimum th\u00e9orique impose le respect scrupuleux de plusieurs postulats structurels fondamentaux :<\/p>\n

1. Lin\u00e9arit\u00e9 dans les param\u00e8tres :<\/strong> Le processus g\u00e9n\u00e9rateur de donn\u00e9es sous-jacent doit \u00eatre strictement lin\u00e9aire par rapport au vecteur de param\u00e8tres $\\beta$<\/span>, bien que les variables explicatives elles-m\u00eames puissent int\u00e9grer des transformations non lin\u00e9aires (polyn\u00f4mes, logarithmes, fonctions splines).<\/p>\n

2. Exog\u00e9n\u00e9it\u00e9 stricte :<\/strong> L’esp\u00e9rance math\u00e9matique du terme d’erreur conditionnellement \u00e0 l’ensemble de la matrice de plan doit \u00eatre uniform\u00e9ment nulle :<\/p>\n

$$\\mathbb{E}[varepsilon|X] = 0$$<\/span><\/p>\n

Cette condition implique imp\u00e9rativement l’absence totale de corr\u00e9lation entre les perturbations al\u00e9atoires et les covariables ($Cov(X_j, \\varepsilon) = 0$<\/span>), excluant tout biais li\u00e9 \u00e0 des variables omises, des erreurs syst\u00e9matiques de mesure sur les r\u00e9gresseurs ou des ph\u00e9nom\u00e8nes d’endog\u00e9n\u00e9it\u00e9 par r\u00e9troaction causale.<\/p>\n

3. Homosc\u00e9dasticit\u00e9 et absence d’autocorr\u00e9lation :<\/strong> La matrice de covariance conditionnelle du vecteur r\u00e9siduel doit \u00eatre scalaire, signifiant que la variance des termes d’erreur demeure rigoureusement constante quel que soit le niveau des r\u00e9gresseurs, et que deux observations distinctes ne pr\u00e9sentent aucune d\u00e9pendance r\u00e9siduelle mutuelle :<\/p>\n

$$\\mathbb{V}ar(varepsilon|X) = \\sigma^2 I_n$$<\/span><\/p>\n

Lorsque cette hypoth\u00e8se est viol\u00e9e par la pr\u00e9sence d’h\u00e9t\u00e9rosc\u00e9dasticit\u00e9 ($\\mathbb{V}ar(\\varepsilon_i|X) = \\sigma_i^2 \\neq \\text{constante}$<\/span>) ou d’autocorr\u00e9lation s\u00e9rielle (fr\u00e9quente dans les s\u00e9ries chronologiques), l’estimateur $\\hat{\\beta}$<\/span> demeure sans biais mais perd son efficacit\u00e9 minimale, et les estimateurs classiques de sa variance deviennent biais\u00e9s, invalidant les tests de significativit\u00e9.<\/p>\n

4. Absence de colin\u00e9arit\u00e9 parfaite :<\/strong> Le rang de la matrice $X$<\/span> doit \u00eatre strictement \u00e9gal \u00e0 $p+1$<\/span>, ce qui garantit qu’aucune variable explicative ne peut s’\u00e9crire comme une combinaison lin\u00e9aire exacte d’autres pr\u00e9dicteurs du mod\u00e8le.<\/p>\n

5. Normalit\u00e9 asymptotique :<\/strong> Bien que le th\u00e9or\u00e8me de Gauss-Markov n’exige nullement la gaussianit\u00e9 des erreurs pour \u00e9tablir l’optimalit\u00e9 de variance, l’hypoth\u00e8se compl\u00e9mentaire $\\varepsilon \\sim \\mathcal{N}(0, \\sigma^2 I_n)$<\/span> s’av\u00e8re indispensable pour d\u00e9river la distribution exacte des estimateurs en \u00e9chantillon fini. C’est elle qui permet d’\u00e9tablir formellement que $\\hat{\\beta}$<\/span> suit une loi normale multidimensionnelle et d’\u00e9riger les tests d’hypoth\u00e8ses classiques fond\u00e9s sur la distribution de Student et la distribution de Fisher-Snedecor.<\/p>\n

2.3 M\u00e9triques d’ajustement et diagnostics d’ad\u00e9quation<\/h3>\n

L’\u00e9valuation de la performance d’un mod\u00e8le de r\u00e9gression lin\u00e9aire repose sur la d\u00e9composition de la variance totale de la variable \u00e0 expliquer en une somme de sous-variances orthogonales. L’identit\u00e9 fondamentale de l’analyse de la variance (ANOVA) s’exprime ainsi :<\/p>\n

$$SCT = SCE + SCR$$<\/span><\/p>\n

o\u00f9 $SCT = \\sum_{i=1}^n (y_i – \\bar{y})^2$<\/span> mesure la somme des carr\u00e9s totale, $SCE = \\sum_{i=1}^n (\\hat{y}_i – \\bar{y})^2$<\/span> quantifie la somme des carr\u00e9s expliqu\u00e9e par le mod\u00e8le lin\u00e9aire, et $SCR = \\sum_{i=1}^n (y_i – \\hat{y}_i)^2 = \\sum_{i=1}^n \\hat{\\varepsilon}_i^2$<\/span> traduit la somme des carr\u00e9s r\u00e9siduelle non capt\u00e9e. \u00c0 partir de cette partition, le coefficient de d\u00e9termination standard, not\u00e9 $R^2$<\/span>, s’\u00e9tablit comme la proportion de la variance empirique absorb\u00e9e par la r\u00e9gression :<\/p>\n

$$R^2 = \\frac{SCE}{SCT} = 1 – \\frac{SCR}{SCT}$$<\/span><\/p>\n

Ce ratio pr\u00e9sente toutefois une faiblesse structurelle majeure : l’adjonction arbitraire de nouvelles covariables au mod\u00e8le entra\u00eene math\u00e9matiquement une baisse syst\u00e9matique (ou au minimum une stagnation) de la somme r\u00e9siduelle $SCR$<\/span>, provoquant une augmentation m\u00e9canique artificielle du $R^2$<\/span>, m\u00eame si les variables introduites ne v\u00e9hiculent aucun signal pertinent. Pour parer \u00e0 cette d\u00e9rive surajustante, Henri Theil a introduit le coefficient de d\u00e9termination ajust\u00e9, not\u00e9 $\\bar{R}^2$<\/span>, qui applique une p\u00e9nalisation stricte proportionnelle au nombre de degr\u00e9s de libert\u00e9 consomm\u00e9s par le vecteur de param\u00e8tres :<\/p>\n

$$\\bar{R}^2 = 1 – \\left( \\frac{SCR \/ (n – p – 1)}{SCT \/ (n – 1)} \\right) = 1 – (1 – R^2)\\frac{n – 1}{n – p – 1}$$<\/span><\/p>\n

Au-del\u00e0 des ratios de variance, les praticiens scrutent l’erreur absolue moyenne (MAE, pour Mean Absolute Error<\/em>) et l’erreur quadratique moyenne (RMSE, pour Root Mean Squared Error<\/em>), cette derni\u00e8re s’av\u00e9rant particuli\u00e8rement sensible aux d\u00e9viations d’amplitude extr\u00eame en raison de l’\u00e9l\u00e9vation quadratique de l’\u00e9cart. L’analyse des r\u00e9sidus studentis\u00e9s constitue un autre volet n\u00e9vralgique du diagnostic statistique :<\/p>\n

$$r_i = \\frac{\\hat{\\varepsilon}_i}{\\hat{\\sigma} \\sqrt{1 – h_{ii}}}$$<\/span><\/p>\n

o\u00f9 $h_{ii}$<\/span> d\u00e9signe le $i$<\/span>-\u00e8me \u00e9l\u00e9ment diagonal de la matrice chapeau $H$<\/span>, traduisant le levier ou l’\u00e9loignement g\u00e9om\u00e9trique de la $i$<\/span>-\u00e8me observation par rapport au barycentre du nuage de points. Pour d\u00e9tecter les observations exer\u00e7ant une influence d\u00e9mesur\u00e9e sur l’estimation de l’hyperplan, l’analyse s’appuie sur la distance de Cook $D_i$<\/span>, qui agr\u00e8ge l’\u00e9cart r\u00e9siduel et le levier :<\/p>\n

$$D_i = \\frac{e_i^2}{(p+1)\\hat{\\sigma}^2} \\left[ \\frac{h_{ii}}{(1 – h_{ii})^2} \\right]$$<\/span><\/p>\n

Une distance de Cook exc\u00e9dant la valeur critique de $4\/n$<\/span> ou de l’unit\u00e9 signale g\u00e9n\u00e9ralement un point aberrant ou hautement influent qui fausse structurellement l’inf\u00e9rence. Enfin, le test de Fisher global \u00e9value la significativit\u00e9 conjointe de l’ensemble des pr\u00e9dicteurs via la statistique :<\/p>\n

$$F = \\frac{SCE \/ p}{SCR \/ (n – p – 1)} \\sim \\mathcal{F}(p, n – p – 1)$$<\/span><\/p>\n

rejetant l’hypoth\u00e8se nulle d’absence d’effet global d\u00e8s lors que la p-valeur associ\u00e9e franchit le seuil nominal choisi.<\/p>\n

3. Fondements th\u00e9oriques et probabilistes de la r\u00e9gression logistique<\/h2>\n

3.1 Formulation probabiliste, fonction sigmo\u00efde et transformation logit<\/h3>\n

La r\u00e9gression logistique aborde la relation pr\u00e9dictive sous un angle radicalement diff\u00e9rent en substituant \u00e0 l’espace euclidien non born\u00e9 un cadre probabiliste contraint. Dans le paradigme binaire standard, la variable d\u00e9pendante $Y_i$<\/span> est mod\u00e9lis\u00e9e comme une variable al\u00e9atoire suivant une loi de Bernoulli conditionnelle de param\u00e8tre $\\pi(X_i) = P(Y_i = 1 | X_i)$<\/span>. La r\u00e9alisation directe d’une combinaison lin\u00e9aire pour estimer cette grandeur soul\u00e8ve une contradiction topologique insurmontable : l’espace de sortie d’un produit scalaire $X_i\\beta in \\mathbb{R}$<\/span> est infini, s’\u00e9tendant th\u00e9oriquement de $-\\infty$<\/span> \u00e0 $+\\infty$<\/span>, alors qu’une mesure de probabilit\u00e9 doit imp\u00e9rativement respecter les axiomes de Kolmogorov et demeurer confin\u00e9e dans le segment ferm\u00e9 $[0, 1]$<\/span>.<\/p>\n

Pour r\u00e9soudre cette incoh\u00e9rence fondamentale, la r\u00e9gression logistique applique une fonction de liaison non lin\u00e9aire monotone, la fonction logistique standard (ou sigmo\u00efde), qui r\u00e9alise un diff\u00e9omorphisme appliquant la droite r\u00e9elle $\\mathbb{R}$<\/span> sur l’intervalle ouvert $]0, 1[$<\/span> :<\/p>\n

$$\\pi(X_i) = \\sigma(X_i\\beta) = \\frac{1}{1 + e^{-X_i\\beta}} = \\frac{e^{X_i\\beta}}{1 + e^{X_i\\beta}}$$<\/span><\/p>\n

Cette formulation permet d’introduire le concept central de rapport de cotes, couramment d\u00e9sign\u00e9 sous le terme anglais d’odds<\/em>. Les cotes repr\u00e9sentent le ratio entre la probabilit\u00e9 d’occurrence d’un \u00e9v\u00e9nement positif et la probabilit\u00e9 de son non-av\u00e8nement :<\/p>\n

$$\\text{Cotes} = \\frac{\\pi(X_i)}{1 – \\pi(X_i)} = \\frac{\\frac{e^{X_i\\beta}}{1 + e^{X_i\\beta}}}{1 – \\frac{e^{X_i\\beta}}{1 + e^{X_i\\beta}}} = e^{X_i\\beta}$$<\/span><\/p>\n

En appliquant le logarithme n\u00e9p\u00e9rien \u00e0 ce rapport de cotes, on obtient la transformation dite logit<\/em>, qui r\u00e9tablit une stricte lin\u00e9arit\u00e9 par rapport aux coefficients du mod\u00e8le :<\/p>\n

$$\\text{logit}(\\pi(X_i)) = \\ln\\left( \\frac{\\pi(X_i)}{1 – \\pi(X_i)} \\right) = X_i\\beta = \\beta_0 + \\beta_1 X_{i1} + dots + \\beta_p X_{ip}$$<\/span><\/p>\n

Dans ce sch\u00e9ma, la r\u00e9gression logistique s’interpr\u00e8te comme un mod\u00e8le lin\u00e9aire op\u00e9rant sur l’\u00e9chelle des log-cotes (log-odds<\/em>). L’esp\u00e9rance conditionnelle co\u00efncide directement avec la probabilit\u00e9 de la classe cible, puisque pour une variable de Bernoulli :<\/p>\n

$$\\mathbb{E}[Y_i|X_i] = 1 \\cdot P(Y_i=1|X_i) + 0 \\cdot P(Y_i=0|X_i) = \\pi(X_i)$$<\/span><\/p>\n

Lorsque le ph\u00e9nom\u00e8ne d’int\u00e9r\u00eat pr\u00e9sente plus de deux issues qualitatives, ce cadre se g\u00e9n\u00e9ralise de mani\u00e8re naturelle. Dans le cas de la r\u00e9gression logistique multinomiale (classes nominales non ordonn\u00e9es $K > 2$<\/span>), le mod\u00e8le estime simultan\u00e9ment $K-1$<\/span> vecteurs de param\u00e8tres distincts relativement \u00e0 une modalit\u00e9 de base de r\u00e9f\u00e9rence, tandis que dans le cas de variables ordinales, le mod\u00e8le \u00e0 cotes proportionnelles (mod\u00e8le logit ordonn\u00e9) contraint les pentes des pr\u00e9dicteurs \u00e0 demeurer identiques tout en ajustant des seuils de d\u00e9coupage croissants sur l’axe latent.<\/p>\n

3.2 Optimisation par estimation du maximum de vraisemblance (MLE)<\/h3>\n

Contrairement au cas de la r\u00e9gression lin\u00e9aire, l’application du crit\u00e8re de minimisation de la somme des r\u00e9sidus au carr\u00e9 sur une fonction sigmo\u00efdale produit une fonction de co\u00fbt non convexe truff\u00e9e d’optima locaux, interdisant le recours \u00e0 la m\u00e9thode des moindres carr\u00e9s standard. La r\u00e9gression logistique puise donc sa force op\u00e9rationnelle dans le principe de l’estimation par le maximum de vraisemblance (MLE, pour Maximum Likelihood Estimation<\/em>). En formulant l’hypoth\u00e8se que les tirages des $n$<\/span> observations de l’\u00e9chantillon sont ind\u00e9pendants et identiquement distribu\u00e9s conditionnellement aux covariables, la fonction de vraisemblance s’exprime sous la forme du produit des densit\u00e9s de Bernoulli discr\u00e8tes :<\/p>\n

$$L(\\beta) = \\prod_{i=1}^n \\pi(X_i)^{y_i} \\left(1 – \\pi(X_i)\\right)^{1 – y_i}$$<\/span><\/p>\n

Pour des raisons de commodit\u00e9 analytique et de stabilit\u00e9 num\u00e9rique face aux produits de nombres infinit\u00e9simaux, on maximise de mani\u00e8re \u00e9quivalente le logarithme de la vraisemblance, d\u00e9sign\u00e9 sous le terme de log-vraisemblance $ell(\\beta)$<\/span> :<\/p>\n

$$ell(\\beta) = \\sum_{i=1}^n \\left[ y_i \\ln(\\pi(X_i)) + (1 – y_i) \\ln(1 – \\pi(X_i)) \\right]$$<\/span><\/p>\n

En apprentissage automatique, cette fonction est conventionnellement invers\u00e9e sous la forme de l’entropie crois\u00e9e binaire ou fonction de perte logarithmique (log-loss<\/em>) que l’on cherche \u00e0 minimiser : $J(\\beta) = -\\frac{1}{n}ell(\\beta)$<\/span>. La diff\u00e9rentiation de la log-vraisemblance par rapport au vecteur de param\u00e8tres $\\beta$<\/span> fait appara\u00eetre une structure remarquable. En utilisant la propri\u00e9t\u00e9 de d\u00e9riv\u00e9e de la sigmo\u00efde $sigma'(z) = \\sigma(z)(1 – \\sigma(z))$<\/span>, le gradient (ou vecteur de score $U(\\beta)$<\/span>) s’\u00e9crit :<\/p>\n

$$\\nabla_{\\beta} ell(\\beta) = \\sum_{i=1}^n (y_i – \\pi(X_i)) X_i = X^T(Y – \\pi)$$<\/span><\/p>\n

L’\u00e9quation de score $X^T(Y – \\pi) = 0$<\/span> pr\u00e9sente une analogie frappante avec les \u00e9quations normales des MCO ($X^T(Y – X\\beta) = 0$<\/span>), \u00e0 la nuance fondamentale pr\u00e8s que le vecteur de probabilit\u00e9s $\\pi$<\/span> d\u00e9pend de $\\beta$<\/span> de fa\u00e7on fortement non lin\u00e9aire via la transformation logistique. Il n’existe donc aucune solution analytique explicite sous forme close pour isoler le vecteur $\\hat{\\beta}_{\\text{MLE}}$<\/span>.<\/p>\n

L’estimation des coefficients requiert ainsi la mise en \u0153uvre d’algorithmes d\u00e9terministes it\u00e9ratifs, au premier rang desquels figure la m\u00e9thode de Newton-Raphson. Cette derni\u00e8re met \u00e0 jour les param\u00e8tres \u00e0 chaque it\u00e9ration $t$<\/span> selon la relation :<\/p>\n

$$\\beta^{(t+1)} = \\beta^{(t)} – \\left[ \\nabla^2 ell(\\beta^{(t)}) \\right]^{-1} \\nabla ell(\\beta^{(t)})$$<\/span><\/p>\n

La matrice hessienne $\\mathcal{H} = \\nabla^2 ell(\\beta)$<\/span> correspond \u00e0 l’oppos\u00e9 de la matrice d’information observ\u00e9e de Fisher et se formalise matriciellement par :<\/p>\n

$$\\mathcal{H} = -X^T W X$$<\/span><\/p>\n

o\u00f9 $W$<\/span> est une matrice diagonale de dimensions $n \\times n$<\/span> dont les \u00e9l\u00e9ments valent $w_{ii} = \\pi(X_i)(1 – \\pi(X_i))$<\/span>. Comme tous les termes diagonaux $w_{ii}$<\/span> sont strictement positifs pour des probabilit\u00e9s non d\u00e9g\u00e9n\u00e9r\u00e9es, la matrice de pond\u00e9ration $W$<\/span> est strictement d\u00e9finie positive, conf\u00e9rant \u00e0 la hessienne un statut semi-d\u00e9fini n\u00e9gatif permanent. Il en d\u00e9coule que la surface de log-vraisemblance est strictement concave, garantissant l’existence et l’unicit\u00e9 th\u00e9orique du point de convergence global, \u00e0 moins d’une configuration pathologique de s\u00e9paration parfaite des donn\u00e9es. Cet algorithme it\u00e9ratif est fr\u00e9quemment r\u00e9\u00e9crit sous la forme de l’algorithme des moindres carr\u00e9s it\u00e9rativement repond\u00e9r\u00e9s (IRLS, pour Iteratively Reweighted Least Squares<\/em>), o\u00f9 chaque \u00e9tape r\u00e9sout un probl\u00e8me MCO pond\u00e9r\u00e9 sur une variable cible de travail lin\u00e9aris\u00e9e.<\/p>\n

3.3 M\u00e9triques d’\u00e9valuation propres \u00e0 la classification binaire<\/h3>\n

D\u00e8s lors que la r\u00e9gression logistique est exploit\u00e9e pour segmenter la population \u00e9tudi\u00e9e en classes mutuellement exclusives, l’\u00e9valuation de sa performance s’affranchit des mesures de variance continue pour se focaliser sur des m\u00e9triques d’ad\u00e9quation issues de la th\u00e9orie du signal et de la matrice de confusion. Soit un seuil de coupure $tau in ]0, 1[$<\/span> (couramment fix\u00e9 \u00e0 0,5 par sym\u00e9trie na\u00efve), toute observation affichant $\\hat{\\pi}_i ge \\tau$<\/span> est class\u00e9e positivement ($\\hat{y}_i = 1$<\/span>), et n\u00e9gativement dans le cas contraire. La confrontation avec les \u00e9tats empiriques r\u00e9els g\u00e9n\u00e8re les quatre d\u00e9comptes cardinaux : les Vrais Positifs ($VP$<\/span>), les Faux Positifs ($FP$<\/span>, erreur de type I), les Vrais N\u00e9gatifs ($VN$<\/span>) et les Faux N\u00e9gatifs ($FN$<\/span>, erreur de type II).<\/p>\n

\u00c0 partir de cette r\u00e9partition fondamentale sont d\u00e9riv\u00e9es plusieurs m\u00e9triques analytiques indispensables :<\/p>\n

$$\\text{Sensibilit\u00e9 (Rappel)} = \\frac{VP}{VP + FN}$$<\/span><\/p>\n

$$\\text{Sp\u00e9cificit\u00e9} = \\frac{VN}{VN + FP}$$<\/span><\/p>\n

$$\\text{Pr\u00e9cision} = \\frac{VP}{VP + FP}$$<\/span><\/p>\n

$$\\text{F1-Score} = 2 \\cdot \\frac{\\text{Pr\u00e9cision} \\cdot \\text{Rappel}}{\\text{Pr\u00e9cision} + \\text{Rappel}} = \\frac{2VP}{2VP + FP + FN}$$<\/span><\/p>\n

Le choix d’un seuil $tau$<\/span> unique s’av\u00e9rant arbitraire et potentiellement r\u00e9ducteur face \u00e0 des co\u00fbts de mauvaise classification asym\u00e9triques (par exemple en canc\u00e9rologie, o\u00f9 le co\u00fbt associ\u00e9 \u00e0 un faux n\u00e9gatif exc\u00e8de infiniment celui d’un faux positif), l’analyse privil\u00e9gie l’\u00e9tude de la courbe ROC (Receiver Operating Characteristic<\/em>). Cette courbe trace l’\u00e9volution param\u00e9trique de la sensibilit\u00e9 en fonction de l’anti-sp\u00e9cificit\u00e9 ($1 – \\text{Sp\u00e9cificit\u00e9}$<\/span>) pour l’ensemble exhaustif des valeurs de coupure possibles entre 0 et 1. L’aire sous cette courbe, abr\u00e9g\u00e9e AUC (Area Under the Curve<\/em>), mesure la capacit\u00e9 discriminante globale du mod\u00e8le : une AUC de 0,5 caract\u00e9rise un pr\u00e9dicteur purement al\u00e9atoire, tandis qu’une valeur de 1,0 sanctionne un pouvoir de tri stochastique absolu, \u00e9quivalent \u00e0 la statistique non param\u00e9trique de Wilcoxon-Mann-Whitney.<\/p>\n

En compl\u00e9ment de ces m\u00e9triques bas\u00e9es sur les classifications discr\u00e9tis\u00e9es, l’\u00e9valuation du calibrage probabiliste direct s’effectue au moyen de pseudo-coefficients de d\u00e9termination, dont le plus rigoureux est le Pseudo-$R^2$<\/span> de McFadden :<\/p>\n

$$R^2_{\\text{McFadden}} = 1 – \\frac{ell(\\hat{\\beta}_{\\text{complet}})}{ell(\\hat{\\beta}_{\\text{nul}})}$$<\/span><\/p>\n

o\u00f9 $ell(\\hat{\\beta}_{\\text{nul}})$<\/span> repr\u00e9sente la log-vraisemblance d’un mod\u00e8le minimaliste ne comprenant que la constante d’ordonn\u00e9e \u00e0 l’origine. Des variantes r\u00e9\u00e9chelonn\u00e9es ont \u00e9galement \u00e9t\u00e9 d\u00e9velopp\u00e9es par Cox et Snell ainsi que par Nagelkerke pour tenter de rapprocher la borne sup\u00e9rieure de l’unit\u00e9. Enfin, l’ad\u00e9quation globale des probabilit\u00e9s ajust\u00e9es face aux fr\u00e9quences observ\u00e9es se valide par le test de Hosmer-Lemeshow, qui segmente les observations en d\u00e9ciles de risque pr\u00e9dit et calcule une statistique de Pearson de type $\\chi^2$<\/span> confrontant les proportions th\u00e9oriques et empiriques.<\/p>\n

4. Analyse comparative syst\u00e9matique des divergences fondamentales<\/h2>\n

4.1 Nature de la variable d\u00e9pendante et espace vectoriel de sortie<\/h3>\n

L’opposition la plus irr\u00e9conciliable entre la r\u00e9gression lin\u00e9aire et la r\u00e9gression logistique r\u00e9side dans la typologie formelle de la variable \u00e0 mod\u00e9liser et les propri\u00e9t\u00e9s topologiques de son espace de mesure sous-jacent. Dans le cas de la r\u00e9gression lin\u00e9aire, la variable d\u00e9pendante $Y$<\/span> est une variable quantitative continue mesur\u00e9e sur une \u00e9chelle d’intervalles ou de ratios. L’espace vectoriel d’arriv\u00e9e n’est autre que la droite r\u00e9elle $\\mathbb{R}$<\/span> tout enti\u00e8re (ou un sous-ensemble continu $\\mathbb{R}^k$<\/span>). Cette propri\u00e9t\u00e9 autorise l’hyperplan pr\u00e9dit \u00e0 prendre n’importe quelle valeur scalaire sans violer le cadre d\u00e9finitionnel de l’exp\u00e9rience statistique.<\/p>\n

\u00c0 l’inverse, la r\u00e9gression logistique op\u00e8re sur un espace d’\u00e9tats d’arriv\u00e9e fondamentalement discret, qualitatif et non m\u00e9trique. Dans sa forme binaire, la variable r\u00e9ponse $Y$<\/span> est un indicateur bool\u00e9en restreint \u00e0 la paire discr\u00e8te ${0, 1}$<\/span>. Elle mod\u00e9lise la survenue ou l’absence d’un statut ph\u00e9nom\u00e9nologique (succ\u00e8s\/\u00e9chec, malade\/sain, d\u00e9faillant\/p\u00e9renne). D\u00e8s lors que l’on tente d’ajuster une droite MCO continue sur un nuage de points dont les ordonn\u00e9es $y_i$<\/span> ne prennent que les valeurs 0 ou 1, les implications th\u00e9oriques deviennent d\u00e9sastreuses. Pour toute valeur extr\u00eame du vecteur de r\u00e9gresseurs $X_i$<\/span>, l’hyperplan continu extrapolera in\u00e9vitablement des pr\u00e9dictions $\\hat{y}_i = X_i\\hat{\\beta}$<\/span> strictement sup\u00e9rieures \u00e0 1 ou n\u00e9gatives, ce qui constitue une anomalie math\u00e9matique absolue pour des probabilit\u00e9s conditionnelles.<\/p>\n

Le tableau comparatif suivant synth\u00e9tise les contrastes structurels majeurs existant entre les deux approches :<\/p>\n\n\n\n\n\n\n\n\n\n\n\n\n\n
Dimension d’analyse<\/th>\nR\u00e9gression lin\u00e9aire (MCO)<\/th>\nR\u00e9gression logistique (MLE)<\/th>\n<\/tr>\n<\/thead>\n
Nature de la variable r\u00e9ponse ($Y$<\/span>)<\/strong><\/td>\nQuantitative continue (m\u00e9trique, non born\u00e9e a priori sur $\\mathbb{R}$<\/span>)<\/td>\nQualitative discr\u00e8te (binaire ${0,1}$<\/span>, nominale ou ordinale polytomique)<\/td>\n<\/tr>\n
Espace de sortie mod\u00e9lis\u00e9<\/strong><\/td>\nEsp\u00e9rance conditionnelle continue : $\\mathbb{E}[Y|X] in \\mathbb{R}$<\/span><\/td>\nProbabilit\u00e9 conditionnelle born\u00e9e : $P(Y=1|X) in ]0, 1[$<\/span><\/td>\n<\/tr>\n
Fonction de lien dans les GLM<\/strong><\/td>\nFonction identit\u00e9 : $g(\\mu) = \\mu$<\/span><\/td>\nFonction logit : $g(\\mu) = \\ln\\left(\\frac{\\mu}{1-\\mu}\\right)$<\/span><\/td>\n<\/tr>\n
Crit\u00e8re d’optimisation<\/strong><\/td>\nMinimisation de l’erreur quadratique ($L_2$<\/span> Loss \/ Moindres Carr\u00e9s)<\/td>\nMaximisation de la log-vraisemblance \/ Minimisation de l’entropie crois\u00e9e<\/td>\n<\/tr>\n
R\u00e9solution math\u00e9matique<\/strong><\/td>\nAnalytique ferm\u00e9e exacte via les \u00e9quations normales : $(X^TX)^{-1}X^TY$<\/span><\/td>\nIt\u00e9rative num\u00e9rique obligatoire (Newton-Raphson, IRLS, descente de gradient)<\/td>\n<\/tr>\n
Hypoth\u00e8se sur les r\u00e9sidus<\/strong><\/td>\nNormalit\u00e9, homosc\u00e9dasticit\u00e9 constante ($\\sigma^2$<\/span>), ind\u00e9pendance<\/td>\nDistribution intrins\u00e8quement binomiale\/Bernoulli, variance h\u00e9t\u00e9rosc\u00e9dastique<\/td>\n<\/tr>\n
Interpr\u00e9tation des coefficients ($\\beta_j$<\/span>)<\/strong><\/td>\nEffet marginal additif direct sur la moyenne de la cible $Y$<\/span><\/td>\nEffet multiplicatif sur le rapport de cotes via l’exponentielle : $\\exp(\\beta_j)$<\/span><\/td>\n<\/tr>\n
Sensibilit\u00e9 aux points aberrants<\/strong><\/td>\nTr\u00e8s \u00e9lev\u00e9e en raison de la croissance quadratique de la p\u00e9nalit\u00e9 d’\u00e9cart<\/td>\nMod\u00e9r\u00e9e sur l’espace probabiliste gr\u00e2ce \u00e0 la saturation asymptotique sigmo\u00efdale<\/td>\n<\/tr>\n
M\u00e9triques d’ajustement standard<\/strong><\/td>\n$R^2$<\/span>, $R^2$<\/span> ajust\u00e9, MAE, RMSE, statistique $F$<\/span> de Fisher<\/td>\nAUC-ROC, Entropie crois\u00e9e (Log-loss), F1-Score, Pseudo-$R^2$<\/span>, Hosmer-Lemeshow<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

De plus, l’utilisation de la r\u00e9gression lin\u00e9aire sur des donn\u00e9es binaires induit une distorsion syst\u00e9matique de la variance. La variance th\u00e9orique d’une variable distribu\u00e9e selon une loi de Bernoulli d\u00e9pend directement de son esp\u00e9rance : $\\mathbb{V}ar(Y_i|X_i) = \\pi(X_i)(1 – \\pi(X_i))$<\/span>. D\u00e8s lors, la variance du terme r\u00e9siduel $\\varepsilon_i = Y_i – X_i\\beta$<\/span> s’\u00e9crit formellement $(X_i\\beta)(1 – X_i\\beta)$<\/span>, fluctuant de mani\u00e8re d\u00e9terministe en fonction du vecteur pr\u00e9dictif. L’hypoth\u00e8se fondamentale d’homosc\u00e9dasticit\u00e9 est ainsi irr\u00e9m\u00e9diablement transgress\u00e9e par construction, rendant obsol\u00e8tes tous les calculs classiques d’intervalles de confiance bas\u00e9s sur les erreurs types standards.<\/p>\n

4.2 M\u00e9canismes d’optimisation et formes g\u00e9om\u00e9triques de la surface de perte<\/h3>\n

L’architecture sous-jacente du paysage d’erreur r\u00e9git la complexit\u00e9 calculatoire et les garanties d’atteinte de l’optimum num\u00e9rique. Dans le cadre de la r\u00e9gression lin\u00e9aire sous formulation MCO, la surface de co\u00fbt quadratique $|Y – Xbeta|_2^2$<\/span> trace une parabolo\u00efde multidimensionnelle parfaitement convexe et sym\u00e9trique. Cette topologie g\u00e9om\u00e9trique id\u00e9ale implique l’existence d’un unique minimum global o\u00f9 le gradient s’annule, pouvant \u00eatre atteint en une \u00e9tape d’alg\u00e8bre lin\u00e9aire par calcul matriciel direct. La complexit\u00e9 temporelle est alors principalement domin\u00e9e par l’inversion matricielle de la variance des covariables, d’ordre $\\mathcal{O}(p^3)$<\/span> par d\u00e9composition de Cholesky standard, ou $\\mathcal{O}(np^2)$<\/span> pour la constitution de la matrice de Gram.<\/p>\n

\u00c0 l’inverse, le mod\u00e8le logistique est assujetti \u00e0 la non-lin\u00e9arit\u00e9 transcendante de la sigmo\u00efde. Tenter d’appliquer les moindres carr\u00e9s \u00e0 l’expression non lin\u00e9aire r\u00e9sulterait en une surface de co\u00fbt tortueuse pr\u00e9sentant de multiples minima locaux et zones de selle, interdisant toute convergence fiable. L’adoption de la fonction d’entropie crois\u00e9e issue du principe de vraisemblance restaure la stricte convexit\u00e9 de l’espace de recherche. N\u00e9anmoins, l’inexistence d’une projection orthogonale directe contraint le syst\u00e8me \u00e0 employer des routines it\u00e9ratives. Chaque it\u00e9ration de l’algorithme IRLS impose de recalculer la matrice des poids $W^{(t)}$<\/span>, d’\u00e9valuer la matrice hessienne $X^T W^{(t)} X$<\/span> et de proc\u00e9der \u00e0 son inversion, g\u00e9n\u00e9rant un co\u00fbt calculatoire unitaire d’ordre $\\mathcal{O}(t \\cdot (np^2 + p^3))$<\/span> o\u00f9 $t$<\/span> repr\u00e9sente le nombre de cycles n\u00e9cessaires \u00e0 la stabilisation num\u00e9rique du gradient selon une tol\u00e9rance pr\u00e9\u00e9tablie (typiquement $epsilon < 10^{-6}$).<\/p>\n

Cette distinction computationnelle devient pr\u00e9pond\u00e9rante dans les environnements de calcul distribu\u00e9 ou de m\u00e9gadonn\u00e9es (Big Data<\/em>). La r\u00e9gression lin\u00e9aire autorise une parall\u00e9lisation d\u00e9terministe triviale de ses produits matriciels via des m\u00e9canismes de type MapReduce. En revanche, la r\u00e9gression logistique requiert des synchronisations fr\u00e9quentes d’\u00e9tat de gradient \u00e0 travers les n\u0153uds du cluster, incitant souvent les ing\u00e9nieurs \u00e0 substituer au Newton-Raphson exact des variantes d’approximation de gradient stochastique \u00e0 m\u00e9moire limit\u00e9e, telles que les algorithmes quasi-newtoniens L-BFGS (Limited-memory Broyden-Fletcher-Goldfarb-Shanno<\/em>).<\/p>\n

4.3 Interpr\u00e9tabilit\u00e9 s\u00e9mantique des coefficients estim\u00e9s<\/h3>\n

L’un des axes de clivage les plus notables pour les praticiens r\u00e9side dans la signification s\u00e9mantique directe des coefficients estim\u00e9s $\\hat{\\beta}_j$<\/span>. Dans une r\u00e9gression lin\u00e9aire standard, la d\u00e9riv\u00e9e partielle de l’esp\u00e9rance conditionnelle par rapport \u00e0 la $j$<\/span>-\u00e8me covariable est constante :<\/p>\n

$$\\frac{\\partial \\mathbb{E}[Y|X]}{\\partial X_j} = \\beta_j$$<\/span><\/p>\n

L’effet marginal d’une variation d’une unit\u00e9 de la variable $X_j$<\/span> se traduit syst\u00e9matiquement par un accroissement direct, immuable et additif de $\\beta_j$<\/span> unit\u00e9s de la variable cible $Y$<\/span>, toutes choses restant \u00e9gales par ailleurs (condition ceteris paribus<\/em>). Cette lisibilit\u00e9 arithm\u00e9tique transparente facilite grandement la vulgarisation des r\u00e9sultats aupr\u00e8s de d\u00e9cideurs non statisticiens, par exemple pour quantifier l’impact direct d’une d\u00e9pense publicitaire en euros sur un chiffre d’affaires commercial.<\/p>\n

Dans la r\u00e9gression logistique, la pr\u00e9sence de la fonction de liaison logit m\u00e9tamorphose profond\u00e9ment la nature de l’effet marginal. La d\u00e9riv\u00e9e partielle de la probabilit\u00e9 conditionnelle par rapport \u00e0 une variable continue n’est plus constante, mais varie dynamiquement selon l’emplacement pr\u00e9cis de l’observation sur la courbe en S :<\/p>\n

$$\\frac{\\partial P(Y=1|X)}{\\partial X_j} = \\beta_j \\cdot \\pi(X) \\cdot (1 – \\pi(X))$$<\/span><\/p>\n

L’effet marginal sur la probabilit\u00e9 d\u00e9pend donc simultan\u00e9ment de la valeur de toutes les autres covariables du mod\u00e8le agr\u00e9g\u00e9es dans le calcul de $\\pi(X)$<\/span>. Cet effet atteint son maximum absolu au point d’inflexion o\u00f9 $\\pi(X) = 0,5$<\/span> (o\u00f9 le produit vaut $0,25 \\cdot \\beta_j$<\/span>, connu sous le nom de r\u00e8gle du quart), et tend asymptotiquement vers z\u00e9ro aux extr\u00e9mit\u00e9s de la distribution o\u00f9 les probabilit\u00e9s sont d\u00e9j\u00e0 satur\u00e9es proches de 0 ou de 1.<\/p>\n

Pour s’\u00e9manciper de cette variabilit\u00e9 locale, la litt\u00e9rature s’appuie sur l’exponentiation du coefficient, $\\text{OR}_j = \\exp(\\beta_j)$<\/span>, qui fournit une interpr\u00e9tation invariante sous forme de rapport de cotes (Odds Ratio<\/em>). L’effet devient ainsi purement multiplicatif sur les chances relatives : une hausse d’une unit\u00e9 de $X_j$<\/span> multiplie les cotes de r\u00e9alisation de l’\u00e9v\u00e9nement cible par le facteur $e^{\\beta_j}$<\/span>. Si $\\beta_j = 0,693$<\/span>, alors $e^{0,693} \\approx 2,0$<\/span>, ce qui signifie que l’augmentation d’une unit\u00e9 de la variable double le rapport des cotes de survenue de l’\u00e9v\u00e9nement. Cette s\u00e9mantique g\u00e9om\u00e9trique et multiplicative s’av\u00e8re nettement plus abstraite \u00e0 restituer dans des contextes op\u00e9rationnels profane o\u00f9 les cotes sont fr\u00e9quemment confondues par erreur avec de purs pourcentages de risque absolu.<\/p>\n

4.4 Robustesse aux valeurs aberrantes et structure des r\u00e9sidus<\/h3>\n

La morphologie des fonctions de co\u00fbt induit une divergence majeure de r\u00e9silience face \u00e0 la contamination du jeu de donn\u00e9es par des valeurs aberrantes (outliers<\/em>) ou des points de levier disproportionn\u00e9s. Dans le mod\u00e8le lin\u00e9aire, l’\u00e9valuation de la performance au moyen de la distance euclidienne quadratique $\\sum (y_i – \\hat{y}_i)^2$<\/span> attribue un poids d\u00e9mesur\u00e9ment exponentiel aux r\u00e9sidus importants. Une unique observation situ\u00e9e \u00e0 une distance extr\u00eame du barycentre moyen des pr\u00e9dicteurs, combin\u00e9e \u00e0 une r\u00e9ponse erron\u00e9e, peut agir comme un puissant point d’inflexion m\u00e9canique capable de faire basculer l’orientation de l’hyperplan optimal tout entier, d\u00e9gradant la repr\u00e9sentativit\u00e9 du mod\u00e8le pour la grande majorit\u00e9 des donn\u00e9es r\u00e9guli\u00e8res.<\/p>\n

\u00c0 l’oppos\u00e9, la r\u00e9gression logistique b\u00e9n\u00e9ficie de l’amortissement asymptotique propre \u00e0 la fonction sigmo\u00efde. D\u00e8s lors qu’une observation pr\u00e9sente un score lin\u00e9aire $X_i\\beta$<\/span> extr\u00eamement \u00e9lev\u00e9 (par exemple $+8$<\/span>), la probabilit\u00e9 ajust\u00e9e plafonne \u00e0 un niveau asymptotique quasi insensible aux incr\u00e9ments marginaux suppl\u00e9mentaires ($\\pi \\approx 0,9996$<\/span>). Si cette observation est effectivement un point de classe 1, son r\u00e9sidu probabiliste $y_i – \\pi(X_i) = 1 – 0,9996 = 0,0004$<\/span> demeure infinit\u00e9simal, et sa contribution au gradient de mise \u00e0 jour $X_i^T(y_i – \\pi(X_i))$<\/span> s’en trouve neutralis\u00e9e.<\/p>\n

Cependant, la r\u00e9gression logistique souffre d’une fragilit\u00e9 structurelle singuli\u00e8re qui lui est propre : le ph\u00e9nom\u00e8ne de s\u00e9paration quasi-compl\u00e8te ou de s\u00e9paration parfaite des donn\u00e9es, mis en lumi\u00e8re par Albert et Anderson en 1984. Si un hyperplan vectoriel parvient \u00e0 s\u00e9parer de mani\u00e8re absolue et sans aucune erreur les observations de la classe 0 de celles de la classe 1, le maximum de vraisemblance ne peut plus \u00eatre atteint \u00e0 distance finie. Pour que la fonction d’entropie crois\u00e9e atteigne son minimum absolu de z\u00e9ro, le mod\u00e8le doit attribuer des probabilit\u00e9s de 1 et 0 nettes, ce qui impose aux coefficients $\\beta_j$<\/span> de tendre asymptotiquement vers l’infini ($+\\infty$<\/span> ou $-\\infty$<\/span>). Lors de l’estimation num\u00e9rique par Newton-Raphson, l’algorithme divergera inexorablement, provoquant une explosion des erreurs types asymptotiques et rendant les matrices de variance inexploitables, un \u00e9cueil que ne rencontre jamais la r\u00e9solution par moindres carr\u00e9s ordinaires qui conserve toujours une solution matricielle born\u00e9e et d\u00e9finie.<\/p>\n

5. Similitudes et convergences conceptuelles entre les deux approches<\/h2>\n

5.1 Unification math\u00e9matique sous l’\u00e9gide des mod\u00e8les lin\u00e9aires g\u00e9n\u00e9ralis\u00e9s (GLM)<\/h3>\n

Malgr\u00e9 l’ab\u00eeme fonctionnel s\u00e9parant l’analyse continue de la discrimination discr\u00e8te, la r\u00e9gression lin\u00e9aire et la r\u00e9gression logistique s’av\u00e8rent \u00eatre les deux facettes d’un m\u00eame \u00e9difice th\u00e9orique au sein de la th\u00e9orie unifi\u00e9e des GLM \u00e9tablie par Nelder et Wedderburn. Dans ce sch\u00e9ma global, la distribution conditionnelle de la variable cible $Y$<\/span> est suppos\u00e9e appartenir \u00e0 la famille exponentielle univari\u00e9e canonique, dont la densit\u00e9 de probabilit\u00e9 param\u00e9tr\u00e9e s’\u00e9crit formellement :<\/p>\n

$$f(y; \\theta, \\phi) = \\exp\\left( \\frac{y\\theta – b(\\theta)}{a(\\phi)} + c(y, \\phi) \\right)$$<\/span><\/p>\n

o\u00f9 $\\theta$<\/span> d\u00e9signe le param\u00e8tre naturel canonique traduisant l’effet de localisation, $phi$<\/span> repr\u00e9sente le param\u00e8tre de dispersion d’\u00e9chelle, et $b(\\theta)$<\/span> constitue la fonction cumulante de la distribution, dont les d\u00e9riv\u00e9es successives engendrent l’esp\u00e9rance math\u00e9matique et la variance du processus al\u00e9atoire :<\/p>\n

$$\\mathbb{E}[Y] = \\mu = b'(\\theta) \\quad \\text{et} \\quad \\mathbb{V}ar(Y) = b\u00a0\u00bb(\\theta)a(\\phi)$$<\/span><\/p>\n

La r\u00e9gression lin\u00e9aire ordinaire se mat\u00e9rialise lorsque l’on sp\u00e9cifie une loi normale gaussienne, pour laquelle le param\u00e8tre naturel est l’esp\u00e9rance elle-m\u00eame ($\\theta = \\mu$<\/span>), la fonction de dispersion est $a(\\phi) = \\sigma^2$<\/span>, et la fonction cumulante s’\u00e9crit $b(\\theta) = \\theta^2\/2$<\/span>. La fonction de lien canonique qui relie le param\u00e8tre naturel au pr\u00e9dicteur lin\u00e9aire $\\eta = X\\beta$<\/span> n’est autre que la fonction identit\u00e9 :<\/p>\n

$$g(\\mu) = \\mu = X\\beta$$<\/span><\/p>\n

Dans la r\u00e9gression logistique, la distribution conditionnelle s\u00e9lectionn\u00e9e est la loi binomiale de Bernoulli pour laquelle le param\u00e8tre naturel s’av\u00e8re \u00eatre la log-cote canonique :<\/p>\n

$$\\theta = \\ln\\left( \\frac{\\mu}{1 – \\mu} \\right)$$<\/span><\/p>\n

avec un param\u00e8tre de dispersion fix\u00e9 par construction th\u00e9orique \u00e0 l’unit\u00e9 ($a(phi) = 1$<\/span>) et une fonction cumulante d\u00e9finie par $b(\\theta) = \\ln(1 + e^{\\theta})$<\/span>. La fonction de lien canonique associ\u00e9e devient pr\u00e9cis\u00e9ment la transformation logit :<\/p>\n

$$g(\\mu) = \\ln\\left( \\frac{\\mu}{1 – \\mu} \\right) = X\\beta$$<\/span><\/p>\n

Cette perspective int\u00e9grative prouve de mani\u00e8re irr\u00e9futable que la r\u00e9gression logistique n’est pas une heuristique empirique dissoci\u00e9e des statistiques classiques, mais l’adaptation exacte et rigoureuse des propri\u00e9t\u00e9s de projection lin\u00e9aire aux sp\u00e9cificit\u00e9s distributionnelles d’un processus g\u00e9n\u00e9rateur binaire non gaussien.<\/p>\n

5.2 Vuln\u00e9rabilit\u00e9 conjointe \u00e0 la multicolin\u00e9arit\u00e9 et techniques de r\u00e9gularisation<\/h3>\n

Les deux algorithmes partagent une vuln\u00e9rabilit\u00e9 commune fondamentale dict\u00e9e par l’architecture sous-jacente de leur pr\u00e9dicteur lin\u00e9aire $\\eta = \\sum_{j=0}^p \\beta_j X_j$<\/span>. Lorsque les covariables s\u00e9lectionn\u00e9es au sein de la matrice de donn\u00e9es $X$<\/span> pr\u00e9sentent des d\u00e9pendances stochastiques lin\u00e9aires \u00e9lev\u00e9es, le probl\u00e8me de la multicolin\u00e9arit\u00e9 \u00e9merge avec une acuit\u00e9 redoutable. Dans la r\u00e9gression lin\u00e9aire, la matrice de Gram $X^TX$<\/span> devient mal conditionn\u00e9e, ses valeurs propres les plus faibles s’effondrent vers z\u00e9ro et le d\u00e9terminant matriciel devient infinit\u00e9simal. Il en r\u00e9sulte une explosion dramatique de la variance des coefficients estim\u00e9s :<\/p>\n

$$\\mathbb{V}ar(\\hat{\\beta}_j) = \\frac{\\sigma^2}{(1 – R_j^2) \\sum_{i=1}^n (X_{ij} – \\bar{X}_j)^2}$$<\/span><\/p>\n

o\u00f9 $R_j^2$<\/span> quantifie la r\u00e9gression auxiliaire de la covariable $j$<\/span> sur toutes les autres variables. Le facteur d’inflation de la variance (VIF, pour Variance Inflation Factor<\/em>), d\u00e9fini par $1\/(1 – R_j^2)$<\/span>, franchit alors les seuils critiques (couramment 5 ou 10), rendant les coefficients hyper-sensibles \u00e0 la moindre fluctuation de l’\u00e9chantillon d’apprentissage. Dans la r\u00e9gression logistique, la multicolin\u00e9arit\u00e9 d\u00e9grade de fa\u00e7on tout \u00e0 fait analogue la matrice hessienne $X^TWX$<\/span>, d\u00e9stabilisant le calcul de l’inverse lors des \u00e9tapes de Newton-Raphson et g\u00e9n\u00e9rant des log-cotes impr\u00e9cises aux intervalles de confiance artificiellement b\u00e9ants.<\/p>\n

Pour juguler cette pathologie d’instabilit\u00e9, les deux familles de mod\u00e8les partagent le m\u00eame arsenal de r\u00e9gularisation sous contraintes p\u00e9nalis\u00e9es au sein de leur fonction de perte respective :<\/p>\n

1. La r\u00e9gularisation Ridge (P\u00e9nalit\u00e9 $L_2$<\/span>) :<\/strong> Introduit un terme quadratique $\\lambda \\sum_{j=1}^p \\beta_j^2$<\/span> for\u00e7ant la contraction isotrope des coefficients vers le centre sans jamais les annuler totalement. Elle r\u00e9sout formellement le mauvais conditionnement matriciel en ajoutant un biais contr\u00f4l\u00e9 \u00e0 la diagonale ($X^TX + \\lambda I$<\/span>).<\/p>\n

2. La r\u00e9gularisation Lasso (P\u00e9nalit\u00e9 $L_1$<\/span>) :<\/strong> Impl\u00e9mente une contrainte fond\u00e9e sur la norme absolue $\\lambda \\sum_{j=1}^p |\\beta_j|$<\/span>. En vertu de la singularit\u00e9 g\u00e9om\u00e9trique en pointe des sph\u00e8res de norme $L_1$<\/span> au croisement des axes factoriels, le Lasso op\u00e8re une s\u00e9lection parcimonieuse automatique en for\u00e7ant certains coefficients de covariables corr\u00e9l\u00e9es ou peu informatives \u00e0 s’annuler strictement \u00e0 z\u00e9ro.<\/p>\n

3. La m\u00e9thode ElasticNet :<\/strong> Combine de mani\u00e8re convexe les p\u00e9nalit\u00e9s $L_1$<\/span> et $L_2$<\/span> par un terme $\\lambda \\left( \\alpha |beta|_1 + \\frac{1 – \\alpha}{2} |beta|_2^2 \\right)$<\/span>, pr\u00e9servant l’effet de s\u00e9lection de variables du Lasso tout en stabilisant la s\u00e9lection de groupes de pr\u00e9dicteurs hautement colin\u00e9aires gr\u00e2ce \u00e0 la courbure de la r\u00e9gularisation Ridge.<\/p>\n

Il importe de souligner une exigence m\u00e9thodologique stricte commune aux deux mod\u00e8les lors de l’application de ces contraintes : l’imp\u00e9rieuse n\u00e9cessit\u00e9 de proc\u00e9der \u00e0 un centrage et une r\u00e9duction pr\u00e9alable (standardisation) des covariables. \u00c9tant donn\u00e9 que la p\u00e9nalisation s’applique uniform\u00e9ment \u00e0 la valeur num\u00e9rique brute des coefficients $\\beta_j$<\/span>, des variables mesur\u00e9es sur des \u00e9chelles h\u00e9t\u00e9rog\u00e8nes (par exemple le revenu annuel en dizaines de milliers d’euros et l’\u00e2ge en ann\u00e9es) subiraient une p\u00e9nalisation asym\u00e9trique totalement aberrante si elles n’\u00e9taient pas ramen\u00e9es \u00e0 une variance unitaire pr\u00e9alable.<\/p>\n

5.3 Exigences communes relatives \u00e0 la pr\u00e9paration des donn\u00e9es<\/h3>\n

Sur le plan op\u00e9rationnel de l’ing\u00e9nierie des donn\u00e9es et de l’architecture des pipelines d’apprentissage, la r\u00e9gression lin\u00e9aire et la r\u00e9gression logistique requi\u00e8rent des protocoles de pr\u00e9traitement rigoureusement identiques en raison de la nature vectorielle de leur espace d’entr\u00e9e. Aucun des deux mod\u00e8les n’est intrins\u00e8quement capable de traiter des valeurs manquantes ou des modalit\u00e9s textuelles brutes de fa\u00e7on native, contrairement aux architectures par arbres de d\u00e9cision (comme XGBoost ou les for\u00eats al\u00e9atoires) qui peuvent segmenter des donn\u00e9es incompl\u00e8tes ou cat\u00e9gorielles sans transformation formelle pr\u00e9alable.<\/p>\n

Face aux lacunes informationnelles, le statisticien doit imp\u00e9rativement recourir \u00e0 des protocoles d’imputation coh\u00e9rents. Si l’imputation par la moyenne ou la m\u00e9diane demeure une heuristique rustique, elle induit une sous-estimation syst\u00e9matique de la variance empirique et d\u00e9nature la structure de corr\u00e9lation crois\u00e9e. L’application d’imputations multivari\u00e9es plus sophistiqu\u00e9es, telles que l’algorithme MICE (Multivariate Imputation by Chained Equations<\/em>) fond\u00e9 sur des \u00e9quations de Gibbs cha\u00een\u00e9es, s’av\u00e8re indispensable pour pr\u00e9server l’int\u00e9grit\u00e9 de la structure stochastique des donn\u00e9es avant le calcul des gradients de r\u00e9gression.<\/p>\n

De surcro\u00eet, le codage des variables qualitatives nominales requiert une rigueur absolue. L’application directe d’un encodage ordinal na\u00eff (assignant arbitrairement des entiers cons\u00e9cutifs $1, 2, 3$ aux cat\u00e9gories \u00ab Paris \u00bb, \u00ab Lyon \u00bb, \u00ab Marseille \u00bb) injecte une hi\u00e9rarchie m\u00e9trique artificielle d\u00e9nu\u00e9e de sens g\u00e9om\u00e9trique que le produit scalaire $X\\beta$<\/span> absorberait comme un rapport de proportionnalit\u00e9 r\u00e9el. Il est donc indispensable d’appliquer un encodage disjonctif complet (One-Hot Encoding<\/em>) ou un codage contrast\u00e9 par effets, en veillant m\u00e9thodiquement \u00e0 omettre l’une des modalit\u00e9s pour former la classe de r\u00e9f\u00e9rence, pr\u00e9venant ainsi le pi\u00e8ge redout\u00e9 de la colin\u00e9arit\u00e9 stricte entre variables indicatrices connu sous le nom de \u00ab pi\u00e8ge de la variable muette \u00bb (dummy variable trap<\/em>).<\/p>\n

Enfin, aucune des deux architectures ne poss\u00e8de la capacit\u00e9 algorithmique intrins\u00e8que d’identifier des effets non lin\u00e9aires ou des interactions crois\u00e9es sans une formalisation explicite de la part du mod\u00e9lisateur. Si l’effet marginal de la covariable $X_1$<\/span> sur la r\u00e9ponse varie en fonction du niveau d’une seconde covariable $X_2$<\/span>, le pr\u00e9dicteur lin\u00e9aire demeure incapable de capturer cette dynamique sans l’adjonction d\u00e9lib\u00e9r\u00e9e d’un terme d’interaction multiplicatif $X_1 X_2$<\/span> au sein de la matrice de plan. De m\u00eame, la mod\u00e9lisation de courbures complexes exige l’int\u00e9gration manuelle de polyn\u00f4mes orthogonaux ou de bases de splines de r\u00e9gression B-splines, soulignant que la sophistication de ces mod\u00e8les param\u00e9triques d\u00e9pend pour une large part de l’ing\u00e9nierie des caract\u00e9ristiques men\u00e9e en amont par le praticien.<\/p>\n

6. Crit\u00e8res m\u00e9thodologiques de s\u00e9lection et cas d’usage pratiques<\/h2>\n

6.1 Typologie des cas d’usage privil\u00e9giant la r\u00e9gression lin\u00e9aire<\/h3>\n

L’arbitrage en faveur de la r\u00e9gression lin\u00e9aire s’impose d\u00e8s lors que la question d\u00e9cisionnelle centrale consiste \u00e0 estimer, quantifier ou pr\u00e9voir l’ampleur d’une grandeur quantitative continue r\u00e9gie par des processus physiques, \u00e9conomiques ou m\u00e9caniques sans bornes intrins\u00e8ques strictes. Dans ces contextes, la m\u00e9trique d’int\u00e9r\u00eat conserve une signification intrins\u00e8que sur l’int\u00e9gralit\u00e9 de son continuum m\u00e9trique.<\/p>\n

Parmi les champs applicatifs majeurs, l’\u00e9conom\u00e9trie financi\u00e8re et immobili\u00e8re mobilise massivement le cadre des MCO. La valorisation h\u00e9donique d’un bien immobilier illustre parfaitement cette dynamique : il s’agit d’estimer un prix de transaction fonci\u00e8re exprim\u00e9 en monnaie continue \u00e0 partir d’un faisceau de covariables (superficie en m\u00e8tres carr\u00e9s, performance \u00e9nerg\u00e9tique, proximit\u00e9 des infrastructures de transport, indice de criminalit\u00e9 du quartier). La r\u00e9gression lin\u00e9aire permet de d\u00e9composer rigoureusement la valeur marchande en valorisations marginales additives pour chaque attribut unitaire du b\u00e2ti. De m\u00eame, en gestion de portefeuille, le c\u00e9l\u00e8bre mod\u00e8le d’\u00e9valuation des actifs financiers (MEDAF ou CAPM) utilise la r\u00e9gression lin\u00e9aire simple pour estimer le coefficient b\u00eata d’un titre financier, mesurant la sensibilit\u00e9 syst\u00e9matique de son rendement continu par rapport aux oscillations globales de l’indice de march\u00e9.<\/p>\n

Les sciences de l’ing\u00e9nieur et l’industrie manufacturi\u00e8re font \u00e9galement un usage intensif de ce formalisme pour le calibrage de tol\u00e9rances physiques et l’anticipation de param\u00e8tres thermiques ou barom\u00e9triques. Pr\u00e9dire la consommation volum\u00e9trique de carburant d’un moteur \u00e0 combustion selon son r\u00e9gime de rotation, sa cylindr\u00e9e et son a\u00e9rodynamisme, ou \u00e9valuer l’usure microm\u00e9trique d’une pi\u00e8ce m\u00e9tallique assujettie \u00e0 des cycles de friction continue, rel\u00e8ve strictement de la r\u00e9gression d’esp\u00e9rance continue. Enfin, dans le domaine du marketing pr\u00e9dictif, l’estimation de la valeur vie client (Customer Lifetime Value<\/em>) en montant financier cumul\u00e9 ou la pr\u00e9vision des volumes de vente \u00e0 l’\u00e9chelle d’un r\u00e9seau logistique s’appuient sur les moindres carr\u00e9s pour \u00e9quilibrer la distribution d’approvisionnement et optimiser les flux de stocks.<\/p>\n

6.2 Typologie des cas d’usage d\u00e9di\u00e9s \u00e0 la r\u00e9gression logistique<\/h3>\n

La r\u00e9gression logistique acquiert une souverainet\u00e9 m\u00e9thodologique absolue d\u00e8s lors que le syst\u00e8me \u00e9tudi\u00e9 converge vers une alternative d’action irr\u00e9ductible, un statut dichotomique ou un choix qualitatif discret. L’enjeu n’est plus de quantifier un montant, mais d’assigner une probabilit\u00e9 conditionnelle calibr\u00e9e afin de hi\u00e9rarchiser un risque ou de d\u00e9clencher un arbitrage unilat\u00e9ral.<\/p>\n

Le secteur bancaire et financier en fournit l’application la plus c\u00e9l\u00e8bre \u00e0 travers le scoring<\/em> d’octroi de cr\u00e9dit. Lorsqu’un particulier d\u00e9pose une demande de pr\u00eat, l’institution financi\u00e8re ne cherche pas \u00e0 estimer une quantit\u00e9 continue, mais \u00e0 \u00e9valuer la probabilit\u00e9 de survenue d’un d\u00e9faut de paiement \u00e0 un horizon temporel de douze ou vingt-quatre mois ($Y in {0, 1}$<\/span>). Les variables explicatives (taux d’endettement, stabilit\u00e9 contractuelle, historique d’impay\u00e9s, \u00e9pargne r\u00e9siduelle) alimentent la fonction logistique pour d\u00e9livrer un score de risque standardis\u00e9. Ce score permet non seulement d’\u00e9tablir des seuils d’acceptation automatique du dossier, mais sert \u00e9galement d’intrant r\u00e9glementaire impos\u00e9 par les accords prudentiels de B\u00e2le III pour quantifier les exigences de fonds propres pond\u00e9r\u00e9s par le risque (param\u00e8tre PD, pour Probability of Default<\/em>).<\/p>\n

En \u00e9pid\u00e9miologie et en sant\u00e9 publique, la r\u00e9gression logistique constitue la pierre angulaire des \u00e9tudes cas-t\u00e9moins. Qu’il s’agisse de mesurer l’impact de la consommation de tabac sur l’incidence du carcinome bronchique ou d’estimer les facteurs pronostiques de mortalit\u00e9 post-op\u00e9ratoire en soins intensifs, l’approche permet d’extraire des rapports de cotes ajust\u00e9s mesurant la force d’association brute d’un facteur d’exposition tout en contr\u00f4lant rigoureusement l’effet de biais de confusion caus\u00e9s par l’\u00e2ge ou les comorbidit\u00e9s pr\u00e9existantes. Enfin, dans les industries num\u00e9riques \u00e0 haute v\u00e9locit\u00e9, la mod\u00e9lisation de l’attrition client (churn rate<\/em>) des plateformes d’abonnement ou la pr\u00e9diction du taux de clic (CTR, Click-Through Rate<\/em>) sur les banni\u00e8res publicitaires en ligne exploitent la r\u00e9gression logistique massive pour optimiser en temps r\u00e9el les ench\u00e8res publicitaires programmatiques.<\/p>\n

6.3 Arbre de d\u00e9cision pour le praticien des donn\u00e9es<\/h3>\n

Afin de synth\u00e9tiser le processus rationnel d’arbitrage m\u00e9thodologique face \u00e0 une nouvelle probl\u00e9matique d’ing\u00e9nierie statistique, le praticien doit appliquer une suite ordonn\u00e9e de crit\u00e8res typologiques et formels. Cette d\u00e9marche heuristique peut \u00eatre formalis\u00e9e sous la forme d’un protocole d’interrogation s\u00e9quentiel :<\/p>\n

1. Examen de l’\u00e9chelle de mesure de la cible $Y$<\/span> :<\/strong><\/p>\n

    \n
  • La variable est-elle continue, quantitative, mesurable sur un intervalle non born\u00e9 sans seuil de saturation artificiel ?<\/em> → Orienter l’\u00e9tude vers la R\u00e9gression Lin\u00e9aire<\/strong>.<\/li>\n
  • La variable est-elle qualitative, cat\u00e9gorielle, binaire ou indicatrice d’un \u00e9v\u00e9nement disjonctif ?<\/em> → Orienter l’\u00e9tude vers la R\u00e9gression Logistique<\/strong> (ou ses extensions multinomiales\/ordinales).<\/li>\n
  • La variable est-elle un d\u00e9nombrement entier strictement positif ($0, 1, 2, dots$) traduisant des arriv\u00e9es d’\u00e9v\u00e9nements discrets par unit\u00e9 de temps ?<\/em> → Rejeter la r\u00e9gression lin\u00e9aire et logistique au profit d’un GLM de Poisson ou d’un mod\u00e8le binomial n\u00e9gatif.<\/li>\n
  • La variable est-elle une proportion continue strictement born\u00e9e sur $]0, 1[$<\/span> (comme un taux d’occupation ou un pourcentage d’actifs) ?<\/em> → \u00c9viter la r\u00e9gression lin\u00e9aire classique ; privil\u00e9gier une r\u00e9gression b\u00eata ou une transformation logit directe combin\u00e9e aux GLM.<\/li>\n<\/ul>\n

    2. Audit des hypoth\u00e8ses distributionnelles et r\u00e9siduelles :<\/strong><\/p>\n

      \n
    • Si le choix initial s’est port\u00e9 sur la r\u00e9gression lin\u00e9aire, soumettre imp\u00e9rativement les r\u00e9sidus estim\u00e9s aux tests formels de Breusch-Pagan (homosc\u00e9dasticit\u00e9), de Durbin-Watson (absence d’autocorr\u00e9lation) et de Shapiro-Wilk (normalit\u00e9). Si l’h\u00e9t\u00e9rosc\u00e9dasticit\u00e9 est substantielle et ne peut \u00eatre corrig\u00e9e par une transformation logarithmique de la cible, substituer aux MCO la m\u00e9thode des moindres carr\u00e9s g\u00e9n\u00e9ralis\u00e9s (GLS) ou int\u00e9grer des estimateurs de variance robustes dits de White\/Huber.<\/li>\n
    • Si le choix s’est port\u00e9 sur la r\u00e9gression logistique, contr\u00f4ler la pr\u00e9valence de la classe positive. En pr\u00e9sence d’un d\u00e9s\u00e9quilibre massif (par exemple un cas de fraude pour 10 000 transactions normales), la fonction de perte par entropie crois\u00e9e standard devient inefficace et sous-estime syst\u00e9matiquement la probabilit\u00e9 de l’\u00e9v\u00e9nement rare. Le mod\u00e9lisateur doit alors recourir \u00e0 une correction de King-Zeng pour \u00e9v\u00e9nements rares, \u00e0 des fonctions de perte pond\u00e9r\u00e9es (focal loss<\/em>) ou \u00e0 des protocoles de r\u00e9\u00e9chantillonnage calibr\u00e9s (SMOTE).<\/li>\n<\/ul>\n

      3. Arbitrage entre explicabilit\u00e9 r\u00e9glementaire et expressivit\u00e9 fonctionnelle :<\/strong><\/p>\n

        \n
      • Dans les industries fortement encadr\u00e9es par la puissance publique (cr\u00e9dit bancaire soumis \u00e0 la loi bancaire, dispositifs m\u00e9dicaux valid\u00e9s par les agences sanitaires), l’obligation de rendre compte du r\u00f4le exact jou\u00e9 par chaque pr\u00e9dicteur dans le calcul de la d\u00e9cision finale justifie le maintien de la r\u00e9gression lin\u00e9aire ou logistique, en acceptant une l\u00e9g\u00e8re d\u00e9gradation de la performance pr\u00e9dictive brute au profit d’une auditabilit\u00e9 causale totale. Si, \u00e0 l’inverse, l’objectif unique r\u00e9side dans la pr\u00e9cision pure au d\u00e9triment de l’interpr\u00e9tabilit\u00e9, le passage \u00e0 des architectures d’apprentissage ensembliste non lin\u00e9aires (LightGBM, for\u00eats al\u00e9atoires) ou \u00e0 des r\u00e9seaux de neurones profonds peut \u00eatre l\u00e9gitim\u00e9.<\/li>\n<\/ul>\n

        7. Foire aux questions sur la r\u00e9gression lin\u00e9aire et la r\u00e9gression logistique<\/h2>\n

        7.1 Pourquoi ne peut-on pas employer la r\u00e9gression lin\u00e9aire pour r\u00e9soudre un probl\u00e8me de classification ?<\/h3>\n

        L’application d’un mod\u00e8le de r\u00e9gression lin\u00e9aire par moindres carr\u00e9s ordinaires sur une variable d\u00e9pendante binaire $Y in {0, 1}$<\/span> (approche qualifi\u00e9e de \u00ab mod\u00e8le de probabilit\u00e9 lin\u00e9aire \u00bb) engendre trois transgressions m\u00e9thodologiques graves et incompatibles avec une inf\u00e9rence statistique valide :<\/p>\n

        1. La violation absolue des bornes de l’espace de probabilit\u00e9 :<\/strong> L’hyperplan de r\u00e9gression lin\u00e9aire $\\hat{Y} = X\\hat{\\beta}$<\/span> est une fonction affine non contrainte. Par cons\u00e9quent, pour des observations combinant des r\u00e9gresseurs d’amplitudes extr\u00eames, la droite projet\u00e9e produit math\u00e9matiquement des valeurs pr\u00e9dites $\\hat{Y} > 1$<\/span> ou $hat{Y} < 0$. Une pr\u00e9diction quantifiant une \u00ab probabilit\u00e9 de r\u00e9cidive de 135 % \u00bb ou un \u00ab risque de d\u00e9faillance financi\u00e8re de -42 % \u00bb est d\u00e9nu\u00e9e de sens probabiliste et interdit l'int\u00e9gration du score dans des moteurs de risque bay\u00e9siens.<\/p>\n

        2. L’h\u00e9t\u00e9rosc\u00e9dasticit\u00e9 structurelle in\u00e9vitable :<\/strong> Comme d\u00e9montr\u00e9 \u00e0 la section 4.1, la variance d’une variable conditionnellement distribu\u00e9e selon une loi de Bernoulli vaut $\\mathbb{V}ar(Y|X) = \\pi(X)(1 – \\pi(X))$<\/span>. Puisque la variance des termes d’erreur fluctue m\u00e9caniquement avec les pr\u00e9dicteurs, l’hypoth\u00e8se canonique de variance r\u00e9siduelle constante ($\\sigma^2 I$<\/span>) du th\u00e9or\u00e8me de Gauss-Markov est viol\u00e9e de fa\u00e7on syst\u00e9matique. Il s’ensuit que les erreurs types des estimateurs de coefficients sont substantiellement biais\u00e9es, ruinant la fiabilit\u00e9 des tests d’hypoth\u00e8ses de Student et la construction des intervalles de confiance.<\/p>\n

        3. La sensibilit\u00e9 d\u00e9mesur\u00e9e aux points correctement class\u00e9s mais distants :<\/strong> Dans un probl\u00e8me de classification discriminante binaire, une observation appartenant indubitablement \u00e0 la classe 1 et pr\u00e9sentant une valeur explicative positive colossale devrait conforter le mod\u00e8le dans son assignation. Or, la r\u00e9gression lin\u00e9aire p\u00e9nalise tout \u00e9cart vis-\u00e0-vis de l’hyperplan par un co\u00fbt quadratique $(y_i – \\hat{y}_i)^2$<\/span>. Si le mod\u00e8le pr\u00e9dit une ordonn\u00e9e $\\hat{y}_i = 3$<\/span> pour une observation r\u00e9elle valant $y_i = 1$<\/span>, la fonction d’erreur MCO enregistre une p\u00e9nalit\u00e9 r\u00e9siduelle massive $(1 – 3)^2 = 4$<\/span>. Le mod\u00e8le va donc distordre l’inclinaison de son hyperplan afin de se rapprocher artificiellement de ce point, d\u00e9gradant la fronti\u00e8re de d\u00e9cision au d\u00e9triment des observations situ\u00e9es dans la zone de transition n\u00e9vralgique proche du barycentre des classes.<\/p>\n

        7.2 Comment interpr\u00e9ter rigoureusement les rapports de cotes (Odds Ratios) en pratique ?<\/h3>\n

        L’interpr\u00e9tation rigoureuse d’un coefficient estim\u00e9 $\\hat{\\beta}_j$<\/span> dans une r\u00e9gression logistique binaire exige son exponentiation pr\u00e9alable pour obtenir le rapport de cotes : $\\text{OR}_j = \\exp(\\hat{\\beta}_j)$<\/span>. La cote (odds<\/em>) d’un \u00e9v\u00e9nement \u00e9tant d\u00e9finie par $\\frac{P}{1-P}$<\/span>, le rapport de cotes confronte la cote mesur\u00e9e suite \u00e0 une augmentation d’une unit\u00e9 de la variable explicative d’int\u00e9r\u00eat $X_j$<\/span> \u00e0 la cote de base d’origine, \u00e0 param\u00e8tres constants :<\/p>\n

        $$\\text{OR}_j = \\frac{\\text{Cotes}(X_j + 1)}{\\text{Cotes}(X_j)} = \\frac{e^{\\beta_0 + dots + \\beta_j(X_j + 1) + dots}}{e^{\\beta_0 + dots + \\beta_j X_j + dots}} = e^{\\beta_j}$$<\/span><\/p>\n

        L’\u00e9valuation s’articule par rapport au seuil critique de l’unit\u00e9 :<\/p>\n

          \n
        • Si $\\text{OR}_j = 1$<\/span> ($\\hat{\\beta}_j = 0$<\/span>) : La covariable n’exerce aucun effet marginal multiplicatif sur les chances d’occurrence de l’\u00e9v\u00e9nement d’int\u00e9r\u00eat.<\/li>\n
        • Si $\\text{OR}_j > 1$<\/span> ($\\hat{\\beta}_j > 0$<\/span>) : L’incr\u00e9ment d’une unit\u00e9 de la covariable \u00e9l\u00e8ve les cotes relatives du succ\u00e8s par un facteur $\\text{OR}_j$<\/span>. Par exemple, si $\\text{OR} = 1,40$<\/span>, les cotes relatives s’accroissent de 40 %.<\/li>\n
        • Si $text{OR}_j < 1$ ($hat{beta}_j < 0$) : L’incr\u00e9ment de la variable agit comme un facteur protecteur, contractant la cote par le facteur$<\/span>text{OR}_j$. Un$<\/span>text{OR} = 0,75$ traduit une r\u00e9duction de 25 % des cotes d’occurrence.<\/li>\n<\/ul>\n

          Une confusion m\u00e9thodologique dramatique, particuli\u00e8rement r\u00e9pandue dans la communication biom\u00e9dicale vulgaris\u00e9e, consiste \u00e0 assimiler \u00e0 tort le rapport de cotes (Odds Ratio<\/em>) au risque relatif (RR, pour Relative Risk<\/em>), qui quantifie le pur ratio des probabilit\u00e9s absolues $RR = \\frac{P(Y=1|X=1)}{P(Y=1|X=0)}$<\/span>. L’Odds Ratio n’approxime fid\u00e8lement le Risque Relatif que sous l’hypoth\u00e8se d’une pathologie ou d’un \u00e9v\u00e9nement \u00e0 pr\u00e9valence extr\u00eamement rare au sein de la population \u00e9tudi\u00e9e (typiquement lorsque $P(Y=1)<\/span> < 5%$). D\u00e8s lors que l'\u00e9v\u00e9nement d'int\u00e9r\u00eat devient fr\u00e9quent, l'Odds Ratio s'\u00e9loigne drastiquement de l'unit\u00e9 et surexprime consid\u00e9rablement l'ampleur de l'effet marginal r\u00e9el, pr\u00eatant \u00e0 la covariable un impact amplifi\u00e9 par rapport \u00e0 la v\u00e9ritable variation de probabilit\u00e9 absolue.<\/p>\n

          7.3 Comment adapter la r\u00e9gression logistique \u00e0 une variable cible comprenant plus de deux classes ?<\/h3>\n

          L’extension de la r\u00e9gression logistique \u00e0 des contextes de classification polytomique o\u00f9 la variable qualitative r\u00e9ponse comporte $K > 2$<\/span> modalit\u00e9s discr\u00e8tes mutuellement exclusives repose sur trois strat\u00e9gies m\u00e9thodologiques distinctes, conditionn\u00e9es par la structure relationnelle liant les cat\u00e9gories :<\/p>\n

          1. La r\u00e9gression logistique multinomiale (classes nominales non ordonn\u00e9es) :<\/strong><\/p>\n

          Lorsque les modalit\u00e9s ne poss\u00e8dent aucune hi\u00e9rarchie sous-jacente (par exemple le choix d’un moyen de transport : [Train, Voiture, V\u00e9lo]), le mod\u00e8le s\u00e9lectionne arbitrairement l’une des cat\u00e9gories comme classe pivot de r\u00e9f\u00e9rence (par exemple la modalit\u00e9 $K$<\/span>) et calibre simultan\u00e9ment $K-1$<\/span> \u00e9quations vectorielles de log-cotes g\u00e9n\u00e9ralis\u00e9es :<\/p>\n

          $$\\ln\\left( \\frac{P(Y = k | X)}{P(Y = K | X)} \\right) = X\\beta^{(k)}, \\quad \\forall k in {1, dots, K-1}$$<\/span><\/p>\n

          L’application de la fonction de normalisation polytomique (connue en apprentissage automatique sous le nom de fonction softmax<\/em>) permet d’en d\u00e9duire les probabilit\u00e9s individuelles pour l’ensemble exhaustif des cat\u00e9gories :<\/p>\n

          $$P(Y = k | X) = \\frac{e^{X\\beta^{(k)}}}{1 + \\sum_{j=1}^{K-1} e^{X\\beta^{(j)}}} \\quad \\text{pour } k < K, \\quad \\text{et} \\quad P(Y = K | X) = \\frac{1}{1 + \\sum_{j=1}^{K-1} e^{X\\beta^{(j)}}}$$<\/span><\/p>\n

          2. Les m\u00e9ta-heuristiques de binarisation (OvR et OvO) :<\/strong><\/p>\n

          Dans les biblioth\u00e8ques d’ing\u00e9nierie logicielle telles que Scikit-Learn, la classification multinomiale est r\u00e9guli\u00e8rement d\u00e9coup\u00e9e en collections de classifieurs logistiques binaires ind\u00e9pendants. La strat\u00e9gie \u00ab Un-contre-Reste \u00bb (One-vs-Rest<\/em> ou OvR) ajuste $K$<\/span> mod\u00e8les logistiques binaires s\u00e9par\u00e9s, chacun \u00e9valuant la probabilit\u00e9 d’une classe $k$<\/span> contre l’agr\u00e9gation de toutes les autres. L’approche \u00ab Un-contre-Un \u00bb (One-vs-One<\/em> ou OvO) entra\u00eene pour sa part $\\frac{K(K-1)}{2}$<\/span> mod\u00e8les binaires opposant toutes les paires possibles de classes, la pr\u00e9diction finale \u00e9tant attribu\u00e9e par un m\u00e9canisme de vote majoritaire.<\/p>\n

          3. Le mod\u00e8le \u00e0 cotes proportionnelles (classes ordinales ordonn\u00e9es) :<\/strong><\/p>\n

          Lorsque les modalit\u00e9s respectent une \u00e9chelle de progression naturelle (par exemple la s\u00e9v\u00e9rit\u00e9 d’un traumatisme : [B\u00e9nin, Mod\u00e9r\u00e9, Critique]), la r\u00e9gression logistique ordinale s’appuie sur la mod\u00e9lisation des probabilit\u00e9s cumul\u00e9es $P(Y le k | X)$<\/span>. Le mod\u00e8le postule que les coefficients directeurs $\\beta$<\/span> sont strictement invariants \u00e0 travers les niveaux de coupure, seuls les seuils d’interception $\\alpha_k$<\/span> \u00e9tant incr\u00e9ment\u00e9s :<\/p>\n

          $$\\text{logit}(P(Y le k | X)) = \\alpha_k – X\\beta, \\quad \\text{a\\vec } \\alpha_1 < \\alpha_2 < dots < \\alpha_{K-1}$$<\/span><\/p>\n

          Cette hypoth\u00e8se fondamentale de cotes proportionnelles (ou hypoth\u00e8se des lignes parall\u00e8les) permet de conserver un mod\u00e8le extr\u00eamement \u00e9conome en degr\u00e9s de libert\u00e9, dont la validit\u00e9 empirique doit pr\u00e9alablement \u00eatre certifi\u00e9e par le test du score de Brant.<\/p>\n

          8. Synth\u00e8se comparative et perspectives en apprentissage automatique<\/h2>\n

          8.1 Tableau r\u00e9capitulatif des divergences algorithmiques et op\u00e9rationnelles<\/h3>\n

          L’exploration approfondie men\u00e9e tout au long de cet ouvrage confirme la s\u00e9paration formelle entre les domaines d’application des deux mod\u00e8les. L’ing\u00e9nieur ou le statisticien op\u00e9rant sur un syst\u00e8me d’analyse pr\u00e9dictive doit appr\u00e9hender chaque algorithme \u00e0 travers le prisme unifi\u00e9 de ses contraintes th\u00e9oriques et de ses objectifs op\u00e9rationnels. Le tableau synoptique ci-apr\u00e8s condense l’ensemble des divergences de fond abord\u00e9es au cours des d\u00e9veloppements m\u00e9thodologiques pr\u00e9c\u00e9dents :<\/p>\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
          Crit\u00e8re de comparaison<\/th>\nR\u00e9gression lin\u00e9aire multiple<\/th>\nR\u00e9gression logistique binaire<\/th>\n<\/tr>\n<\/thead>\n
          Objectif d’apprentissage primaire<\/strong><\/td>\nPr\u00e9diction d’une grandeur continue et estimation de l’esp\u00e9rance conditionnelle<\/td>\nEstimation de la probabilit\u00e9 conditionnelle d’un statut binaire et discrimination cat\u00e9gorielle<\/td>\n<\/tr>\n
          Domaine d’image th\u00e9orique<\/strong><\/td>\n$]-\\infty, +\\infty[$<\/span> (la droite r\u00e9elle $\\mathbb{R}$<\/span>)<\/td>\n$]0, 1[$<\/span> (mesure de probabilit\u00e9 norm\u00e9e)<\/td>\n<\/tr>\n
          Fonction de perte optimis\u00e9e<\/strong><\/td>\nErreur quadratique r\u00e9siduelle (Perte $L_2$<\/span>) : $\\frac{1}{2n}\\sum (y_i – \\hat{y}_i)^2$<\/span><\/td>\nEntropie crois\u00e9e binaire (Log-Loss) : $-\\frac{1}{n}\\sum [y_i \\ln \\hat{y}_i + (1 – y_i) \\ln(1 – \\hat{y}_i)]$<\/span><\/td>\n<\/tr>\n
          Nature de la solution algorithmique<\/strong><\/td>\nSolution explicite ferm\u00e9e en une passe matricielle : $(X^TX)^{-1}X^TY$<\/span><\/td>\nRecherche it\u00e9rative locale (IRLS, Newton-Raphson, SGD, L-BFGS)<\/td>\n<\/tr>\n
          Propri\u00e9t\u00e9s distributionnelles postul\u00e9es<\/strong><\/td>\nNormalit\u00e9 gaussienne des perturbations r\u00e9siduelles inobservables<\/td>\nDistribution conditionnelle de Bernoulli pour la variable r\u00e9ponse discr\u00e8te<\/td>\n<\/tr>\n
          Comportement de variance r\u00e9siduelle<\/strong><\/td>\nHomosc\u00e9dasticit\u00e9 requise ($\\sigma^2$<\/span> invariant conditionnellement aux covariables)<\/td>\nH\u00e9t\u00e9rosc\u00e9dasticit\u00e9 d\u00e9terministe intrins\u00e8que : $\\mathbb{V}ar(Y|X) = \\pi(X)(1 – \\pi(X))$<\/span><\/td>\n<\/tr>\n
          Sensibilit\u00e9 aux pr\u00e9dicteurs corr\u00e9l\u00e9s<\/strong><\/td>\nExplosion de la variance de variance des poids (inflation VIF)<\/td>\nInstabilit\u00e9 du gradient hessien et d\u00e9rive de variance asymptotique des log-cotes<\/td>\n<\/tr>\n
          Comportement en cas de s\u00e9parabilit\u00e9<\/strong><\/td>\nConvergence garantie vers la projection orthogonale minimale unique<\/td>\nDivergence des coefficients vers l’infini (instabilit\u00e9 de quasi-s\u00e9paration)<\/td>\n<\/tr>\n
          Indicateurs d’ad\u00e9quation globale<\/strong><\/td>\nVariance expliqu\u00e9e $R^2$<\/span>, $R^2$<\/span> ajust\u00e9, MAE, RMSE, statistique $F$<\/span><\/td>\nAUC-ROC, Log-Loss, Pseudo-$R^2$<\/span> de McFadden, Brier Score, test de Hosmer-Lemeshow<\/td>\n<\/tr>\n
          Complexit\u00e9 computationnelle unitaire<\/strong><\/td>\n$\\mathcal{O}(np^2 + p^3)$<\/span> pour la constitution de Gram et son inversion de Cholesky<\/td>\n$\\mathcal{O}(t \\cdot (np^2 + p^3))$<\/span> o\u00f9 $t$<\/span> repr\u00e9sente le nombre d’it\u00e9rations du gradient<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

          Cette comparaison met en relief la compl\u00e9mentarit\u00e9 fondamentale des approches : l\u00e0 o\u00f9 les moindres carr\u00e9s cherchent la trajectoire g\u00e9om\u00e9trique optimale minimisant l’\u00e9cart scalaire physique, la maximisation de vraisemblance sigmo\u00efdale privil\u00e9gie la concordance distributionnelle des occurrences stochastiques sous contraintes d’entropie.<\/p>\n

          8.2 P\u00e9rennit\u00e9 des mod\u00e8les lin\u00e9aires face aux architectures d’apprentissage profond<\/h3>\n

          \u00c0 l’\u00e8re contemporaine des r\u00e9seaux de neurones profonds empilant des milliards de param\u00e8tres, des transformeurs auto-attentifs et des architectures d’arbres \u00e0 gradient surpuissantes (XGBoost, CatBoost), il pourrait sembler anachronique de consacrer un investissement conceptuel aussi pouss\u00e9 \u00e0 l’\u00e9tude de mod\u00e8les param\u00e9triques lin\u00e9aires formul\u00e9s au XIXe et au XXe si\u00e8cle. Pourtant, la r\u00e9gression lin\u00e9aire et la r\u00e9gression logistique conservent un r\u00f4le indispensable au sein de l’\u00e9cosyst\u00e8me mondial de l’ing\u00e9nierie des donn\u00e9es et de l’intelligence artificielle pour plusieurs raisons imp\u00e9rieuses.<\/p>\n

          Le premier facteur de p\u00e9rennit\u00e9 r\u00e9side dans l’exigence croissante d’explicabilit\u00e9 et de conformit\u00e9 r\u00e9glementaire. Dans le cadre de cadres juridiques modernes, tels que le R\u00e8glement G\u00e9n\u00e9ral sur la Protection des Donn\u00e9es (RGPD) au sein de l’Union europ\u00e9enne ou les directives de l’IA Act, tout citoyen est en droit d’exiger une explication intelligible face \u00e0 un refus d’octroi de cr\u00e9dit, une tarification d’assurance individualis\u00e9e ou un diagnostic clinique automatis\u00e9. Contrairement aux r\u00e9seaux de neurones profonds assimilables \u00e0 des \u00ab bo\u00eetes noires \u00bb opaques dont la d\u00e9cision d\u00e9coule d’interactions non lin\u00e9aires hautement dimensionnelles impossibles \u00e0 cartographier sans approximations complexes, les mod\u00e8les lin\u00e9aires et logistiques affichent des coefficients explicites et v\u00e9rifiables, offrant une transparence causale et d\u00e9terministe imm\u00e9diate.<\/p>\n

          En second lieu, ces architectures constituent le jalon comparatif de r\u00e9f\u00e9rence (baseline<\/em>) universel et obligatoire dans tout protocole exp\u00e9rimental rigoureux. Avant d’engager des ressources d’infrastructure consid\u00e9rables dans l’entra\u00eenement de mod\u00e8les d’apprentissage profond \u00e9nergivores et sujets au surajustement, le mod\u00e9lisateur a le devoir d’\u00e9tablir la performance plancher d\u00e9livr\u00e9e par une r\u00e9gression lin\u00e9aire ou logistique convenablement r\u00e9gularis\u00e9e. Dans de multiples applications tabulaires industrielles o\u00f9 le ratio entre le nombre de variables $p$<\/span> et le volume d’\u00e9chantillons $n$<\/span> demeure restreint, les mod\u00e8les param\u00e9triques lin\u00e9aires affichent fr\u00e9quemment des m\u00e9triques comparables, voire sup\u00e9rieures, \u00e0 des architectures neuronales complexes gr\u00e2ce \u00e0 leur parcimonie structurelle qui pr\u00e9vient la d\u00e9rive de variance.<\/p>\n

          Enfin, la r\u00e9gression lin\u00e9aire et la r\u00e9gression logistique ne sont pas des rivales de l’apprentissage profond : elles en constituent les cellules \u00e9l\u00e9mentaires. Le perceptron artificiel standard n’est autre qu’une r\u00e9gression lin\u00e9aire dont la sortie est canalis\u00e9e \u00e0 travers une fonction d’activation non lin\u00e9aire. Plus explicitement encore, la couche de sortie terminale de n’importe quel r\u00e9seau de neurones multicouches d\u00e9di\u00e9 \u00e0 la classification binaire ou multiclasse n’est rien d’autre qu’une r\u00e9gression logistique ou multinomiale (softmax<\/em>) op\u00e9rant sur un espace d’attributs latents lin\u00e9aris\u00e9s par les couches cach\u00e9es en amont. Ma\u00eetriser les fondements alg\u00e9briques, g\u00e9om\u00e9triques et probabilistes de ces deux piliers de l’analyse quantitative demeure, plus que jamais, le socle constitutif de toute comp\u00e9tence rigoureuse en science des donn\u00e9es contemporaine.<\/p>\n

          R\u00e9f\u00e9rences<\/h2>\n

          Albert, A., & Anderson, J. A. (1984). On the existence of maximum likelihood estimates in logistic regression models. Biometrika<\/em>, 71(1), 1-10. https:\/\/doi.org\/10.1093\/biomet\/71.1.1<\/p>\n

          Cook, R. D. (1977). Detection of influential observation in linear regression. Technometrics<\/em>, 19(1), 15-18. https:\/\/doi.org\/10.1080\/00401706.1977.10489493<\/p>\n

          Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society: Series B (Methodological)<\/em>, 20(2), 215-232. https:\/\/doi.org\/10.1111\/j.2517-6161.1958.tb00292.x<\/p>\n

          Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction<\/em> (2nd ed.). Springer. https:\/\/doi.org\/10.1007\/978-0-387-84858-7<\/p>\n

          Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. (2013). Applied logistic regression<\/em> (3rd ed.). John Wiley & Sons. https:\/\/doi.org\/10.1002\/9781118548387<\/p>\n

          McFadden, D. (1974). Conditional logit analysis of qualitative choice behavior. In P. Zarembka (Ed.), Frontiers in Econometrics<\/em> (pp. 105-142). Academic Press.<\/p>\n

          Nelder, J. A., & Wedderburn, R. W. (1972). Generalized linear models. Journal of the Royal Statistical Society: Series A (General)<\/em>, 135(3), 370-384. https:\/\/doi.org\/10.2307\/2344614<\/p>\n

          Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological)<\/em>, 58(1), 267-288. https:\/\/doi.org\/10.1111\/j.2517-6161.1996.tb02080.x<\/p>\n

          Zou, H., & Hastie, T. (2005). Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society: Series B (Statistical Methodology)<\/em>, 67(2), 301-320. https:\/\/doi.org\/10.1111\/j.1467-9868.2005.00503.x<\/p>\n","protected":false},"excerpt":{"rendered":"

          Analyse comparative approfondie entre r\u00e9gression lin\u00e9aire et r\u00e9gression logistique : fondements math\u00e9matiques, hypoth\u00e8ses, m\u00e9triques et cas d’usage.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","template":"","categories":[4314,1838],"tags":[4318,7422,1910,2560,2691],"class_list":["post-25790","psych_comparison","type-psych_comparison","status-publish","hentry","category-apprentissage-automatique","category-statistiques","tag-apprentissage-supervise","tag-modeles-lineaires-generalises","tag-regression-lineaire","tag-regression-logistique","tag-science-des-donnees"],"_links":{"self":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_comparison\/25790","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_comparison"}],"about":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/types\/psych_comparison"}],"author":[{"embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=25790"}],"version-history":[{"count":0,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_comparison\/25790\/revisions"}],"wp:attachment":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=25790"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=25790"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=25790"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}