Régression linéaire vs régression logistique

Dans le paysage contemporain de la science des données et de l’économétrie, la modélisation statistique constitue l’ossature fondamentale sur laquelle repose toute prise de décision automatisée. Qu’il s’agisse d’anticiper les fluctuations macroéconomiques, d’évaluer la probabilité de récidive d’une pathologie en milieu hospitalier ou d’optimiser l’allocation de capitaux sur les marchés financiers, les praticiens s’appuient sur des structures formalisées permettant d’extraire des signaux exploitables à partir d’observations empiriques bruitées. Au cœur de cet arsenal mathématique, deux architectures se distinguent par leur longévité, leur transparence et leur omniprésence : la régression linéaire et la régression logistique. Bien que toutes deux partagent un socle conceptuel articulé autour d’une combinaison linéaire de variables prédictives, elles poursuivent des finalités fonctionnelles, analytiques et probabilistes fondamentalement divergentes.

La confusion entre ces deux paradigmes demeure paradoxalement l’un des écueils les plus récurrents rencontrés lors de l’apprentissage des sciences statistiques appliquées. L’emploi vernaculaire du substantif « régression » pour désigner simultanément un estimateur de quantités scalaires continues et un classifieur d’événements discrets participe largement à obscurcir la frontière qui les sépare. Tandis que la régression linéaire cherche à projeter orthogonalement un sous-espace d’observations afin d’en déduire une fonction continue d’espérance conditionnelle, la régression logistique procède à une transformation non linéaire de cette projection pour contraindre l’espace d’arrivée à l’intervalle des probabilités. Cette divergence d’apparence géométrique élémentaire entraîne en réalité des conséquences méthodologiques considérables sur le choix des fonctions de perte, la régularité des surfaces d’optimisation, la validité des hypothèses d’inférence et la sémantique même des coefficients estimés.

Le présent traité propose une déconstruction exhaustive, comparative et mathématiquement rigoureuse de ces deux approches fondamentales de l’apprentissage supervisé. En explorant leurs racines historiques, leurs théorèmes sous-jacents, leurs mécanismes d’optimisation algorithmique et leurs domaines de validité respectifs, cet écrit a pour vocation d’offrir une référence académique et technique complète. À travers une analyse multidimensionnelle embrassant aussi bien la théorie de la mesure, le calcul différentiel matriciel, la théorie de l’information et les contraintes computationnelles du traitement de données massives, le praticien ou le chercheur trouvera ici les repères indispensables pour arbitrer judicieusement entre modélisation continue et discrimination catégorielle.

1. Introduction aux modèles de régression en apprentissage automatique et statistiques

1.1 Définition contextuelle et taxonomie des modèles linéaires généralisés

L’apprentissage automatique supervisé moderne se structure traditionnellement autour de la recherche d’une fonction d’association inconnue reliant un ensemble de variables explicatives ou covariables, regroupées au sein d’un vecteur $X in \mathbb{R}^p$, à une variable cible dépendante notée $Y$. Historiquement, cette quête d’adéquation entre l’observation et la théorie trouve ses origines formelles dans les travaux fondamentaux de Carl Friedrich Gauss et d’Adrien-Marie Legendre au tournant du XIXe siècle, impulsés par des problématiques d’astronomie et de géodésie céleste nécessitant la résolution de systèmes surdéterminés. L’introduction de la méthode des moindres carrés a ainsi constitué l’acte de naissance de la modélisation statistique paramétrique, postulant que les variations inexpliquées de la variable continue $Y$ pouvaient être assimilées à des perturbations aléatoires réparties selon une distribution normale symétrique.

Toutefois, la rigidité inhérente à l’hypothèse de normalité et la contrainte d’un espace de sortie non borné ont rapidement révélé leurs limites dès lors que les données collectées concernaient des proportions, des dénombrements ou des occurrences binaires. C’est dans ce contexte théorique restreint que John Nelder et Robert Wedderburn ont réalisé, en 1972, une synthèse méthodologique monumentale en introduisant le cadre unificateur des Modèles Linéaires Généralisés (GLM, pour Generalized Linear Models). Cette avancée majeure a permis d’englober la régression linéaire classique, la régression logistique, la régression de Poisson et les modèles gamma au sein d’une même famille exponentielle de distributions statistiques. Dans ce formalisme élégant, l’espérance conditionnelle $\mathbb{E}[Y|X] = \mu$ n’est plus obligatoirement contrainte à une égalité directe avec le prédicteur linéaire $\eta = X\beta$, mais s’articule par l’intermédiaire d’une fonction de lien monotone et différentiable $g(\cdot)$ telle que $g(\mu) = \eta$.

Cette taxonomie moderne permet d’établir une frontière épistémologique nette entre deux grands régimes de l’inférence : l’estimation quantitative de grandeurs continues, relevant de la régression au sens strict, et la prédiction de probabilités d’appartenance à des catégories exclusives, relevant formellement de la classification statistique. La distinction ne relève point d’un simple caprice terminologique ; elle gouverne en profondeur la structure topologique de l’espace d’arrivée, les propriétés de l’échantillonnage asymptotique ainsi que les critères d’optimalité théorique employés pour juger de la validité d’un modèle estimé face à la réalité empirique.

1.2 Origine de la confusion conceptuelle entre les deux algorithmes

L’ambiguïté persistante qui entoure la nature exacte de la régression logistique prend en grande partie sa source dans son appellation historique consacrée. Dans la littérature de la statistique classique et de l’économétrie, le vocable « régression » qualifie tout protocole cherchant à modéliser la valeur moyenne conditionnelle d’une variable réponse à partir de plusieurs facteurs d’influence. Dans le cas de la régression logistique, la cible initiale est une variable aléatoire binaire prenant ses valeurs dans le sous-ensemble discret ${0, 1}$. Or, l’espérance conditionnelle d’une loi de Bernoulli correspond précisément au paramètre de probabilité sous-jacent, à savoir $\mathbb{E}[Y|X] = P(Y=1|X)$. Ainsi, sur le plan strictement probabiliste, l’algorithme régresse effectivement une valeur continue comprise entre 0 et 1 : la probabilité de succès.

Cependant, dans la nomenclature contemporaine de l’apprentissage automatique, les praticiens séparent rigoureusement les tâches en fonction de la sortie finale exploitée opérationnellement. Si l’objectif applicatif consiste à assigner un label ou une classe discrète à une observation donnée en introduisant un seuil de décision arbitraire (traditionnellement fixé à 0,5), le modèle fonctionne de facto comme un classifieur binaire. Cette double identité — régresseur de probabilités dans sa mécanique interne et classifieur catégoriel dans son exploitation décisionnelle — engendre une incompréhension récurrente. Les similitudes structurelles immédiates n’arrangent rien : les deux méthodes s’appuient sur un hyperplan défini par le produit scalaire des variables explicatives pondérées par leurs coefficients directeurs, créant l’illusion d’une proximité algorithmique quasi totale.

Cette fausse symétrie conduit fréquemment les praticiens novices en ingénierie des données à commettre des fautes méthodologiques sévères. L’erreur la plus préjudiciable consiste à ajuster un modèle de régression linéaire ordinaire sur une variable indicatrice binaire sous prétexte de simplicité de calcul. Une telle démarche, connue sous le nom de « modèle de probabilité linéaire », engendre des prédictions mathématiquement absurdes situées en dehors du segment $[0, 1]$, viole structurellement l’hypothèse canonique d’homoscédasticité et dénature complètement l’évaluation de l’incertitude statistique associée aux prévisions, compromettant irrémédiablement l’auditabilité des systèmes d’aide à la décision.

1.3 Portée et objectifs méthodologiques de l’étude comparative

Face à ces divergences et points de contact, ce traité se donne pour mandat d’établir une cartographie comparative exhaustive et sans concession entre la régression linéaire et la régression logistique. Il s’agit de dépasser les raccourcis vulgarisés souvent véhiculés dans les tutoriels d’ingénierie logicielle pour revenir aux sources formelles de l’inférence statistique et de l’algèbre linéaire appliquée. L’ambition est d’équiper le lecteur d’un cadre conceptuel inattaquable permettant de discriminer avec précision les contextes où chacune de ces architectures s’avère optimale, sous-optimale ou formellement invalide.

L’analyse couvrira l’intégralité du cycle de vie méthodologique de ces modèles : des postulats axiomatiques régissant la structure des résidus jusqu’aux équations normales, en passant par les théories asymptotiques du maximum de vraisemblance, les topologies des espaces de perte, les métriques d’évaluation non paramétriques et les techniques avancées de régularisation sous contraintes matricielles. À travers ce prisme comparatif, les frontières applicatives dictées par la théorie de la mesure et l’analyse fonctionnelle seront rigoureusement explicitées.

Enfin, cet ouvrage entend constituer un guide décisionnel pérenne pour les architectes de données, chercheurs et statisticiens confrontés à la conception de pipelines analytiques critiques. Qu’il s’agisse de modéliser des phénomènes financiers assujettis à des réglementations strictes d’explicabilité ou de déployer des modèles de diagnostic clinique où l’erreur de prédiction engage un risque vital, la maîtrise des fondements différenciant la projection linéaire de l’ajustement sigmoïdal constitue un prérequis incontournable à toute pratique rigoureuse de la modélisation statistique.

2. Fondements théoriques et mathématiques de la régression linéaire

2.1 Formulation algébrique et méthode des moindres carrés ordinaires (MCO)

La formulation canonique de la régression linéaire multiple postule l’existence d’une relation d’additivité linéaire entre un vecteur aléatoire d’observations dépendantes $Y in \mathbb{R}^n$ et une matrice d’expérience $X in \mathbb{R}^{n \times (p+1)}$, augmentée d’une colonne unitaire modélisant la constante d’ordonnée à l’origine. L’équation matricielle fondamentale s’écrit sous la forme suivante :

$$Y = X\beta + \varepsilon$$

où $\beta in \mathbb{R}^{p+1}$ représente le vecteur des paramètres inconnus régissant l’amplitude et le signe des effets marginaux de chaque covariable, et $\varepsilon in \mathbb{R}^n$ désigne le vecteur des perturbations aléatoires inobservables, capturant l’ensemble des variations exogènes non intégrées dans le modèle. L’objectif premier de la méthode des moindres carrés ordinaires (MCO) consiste à déterminer un estimateur $\hat{\beta}$ capable de minimiser l’énergie globale du vecteur résiduel, matérialisée par la somme des carrés des écarts entre les observations empiriques et les valeurs ajustées par l’hyperplan :

$$S(\beta) = |Y – Xbeta|_2^2 = (Y – X\beta)^T(Y – X\beta) = Y^TY – 2\beta^TX^TY + \beta^TX^TX\beta$$

La différentiation matricielle de cette forme quadratique scalaire par rapport au vecteur de paramètres $\beta$ conduit au calcul du gradient formel :

$$\nabla_{\beta} S(\beta) = -2X^TY + 2X^TX\beta$$

L’annulation de ce gradient sous la condition nécessaire et suffisante du premier ordre aboutit au système classique des équations normales :

$$X^TX\hat{\beta} = X^TY$$

Sous la condition formelle d’indépendance linéaire des colonnes de la matrice d’expérience $X$, celle-ci est de rang plein égal à $p+1$, ce qui garantit le caractère strictement défini positif et par voie de conséquence l’inversibilité absolue du produit matriciel de Gram $X^TX$. Il en résulte une solution analytique exacte, unique et fermée pour le vecteur des coefficients estimés :

$$\hat{\beta} = (X^TX)^{-1}X^TY$$

Sur le plan géométrique, l’application linéaire définie par la matrice chapeau $H = X(X^TX)^{-1}X^T$ opère une projection orthogonale du vecteur des données $Y$ de l’espace de dimension $n$ sur le sous-espace vectoriel de dimension $p+1$ engendré par les colonnes de $X$. La valeur prédite s’exprime ainsi par $\hat{Y} = HY$, conférant aux résidus $\hat{\varepsilon} = Y – \hat{Y} = (I – H)Y$ une propriété d’orthogonalité stricte avec l’ensemble des colonnes de $X$, telle que $X^T\hat{\varepsilon} = 0$. Lorsque le volume d’échantillonnage $n$ et la dimensionnalité $p$ atteignent des échelles industrielles rendant l’inversion de la matrice $X^TX$ prohibitive en coût de calcul $\mathcal{O}(p^3)$, les praticiens substituent à cette résolution algébrique directe des techniques itératives d’optimisation numérique, telles que la descente de gradient stochastique (SGD), qui ajuste les poids de manière progressive le long de la ligne de plus grande pente de la surface de coût quadratique.

2.2 Hypothèses sous-jacentes du théorème de Gauss-Markov

L’attrait exceptionnel de l’estimateur des moindres carrés ordinaires repose sur un ensemble de conditions formelles réunies au sein du célèbre théorème de Gauss-Markov, dont la validation confère à $\hat{\beta}$ le statut d’estimateur BLUE (Best Linear Unbiased Estimator, ou Meilleur Estimateur Linéaire Sans Biais). Ce statut signifie qu’au sein de la classe intégrale des estimateurs linéaires et sans biais de $\beta$, l’estimateur MCO possède la matrice de variance-covariance minimale au sens de l’ordre partiel sur les matrices symétriques semi-définies positives. La réalisation de cet optimum théorique impose le respect scrupuleux de plusieurs postulats structurels fondamentaux :

1. Linéarité dans les paramètres : Le processus générateur de données sous-jacent doit être strictement linéaire par rapport au vecteur de paramètres $\beta$, bien que les variables explicatives elles-mêmes puissent intégrer des transformations non linéaires (polynômes, logarithmes, fonctions splines).

2. Exogénéité stricte : L’espérance mathématique du terme d’erreur conditionnellement à l’ensemble de la matrice de plan doit être uniformément nulle :

$$\mathbb{E}[varepsilon|X] = 0$$

Cette condition implique impérativement l’absence totale de corrélation entre les perturbations aléatoires et les covariables ($Cov(X_j, \varepsilon) = 0$), excluant tout biais lié à des variables omises, des erreurs systématiques de mesure sur les régresseurs ou des phénomènes d’endogénéité par rétroaction causale.

3. Homoscédasticité et absence d’autocorrélation : La matrice de covariance conditionnelle du vecteur résiduel doit être scalaire, signifiant que la variance des termes d’erreur demeure rigoureusement constante quel que soit le niveau des régresseurs, et que deux observations distinctes ne présentent aucune dépendance résiduelle mutuelle :

$$\mathbb{V}ar(varepsilon|X) = \sigma^2 I_n$$

Lorsque cette hypothèse est violée par la présence d’hétéroscédasticité ($\mathbb{V}ar(\varepsilon_i|X) = \sigma_i^2 \neq \text{constante}$) ou d’autocorrélation sérielle (fréquente dans les séries chronologiques), l’estimateur $\hat{\beta}$ demeure sans biais mais perd son efficacité minimale, et les estimateurs classiques de sa variance deviennent biaisés, invalidant les tests de significativité.

4. Absence de colinéarité parfaite : Le rang de la matrice $X$ doit être strictement égal à $p+1$, ce qui garantit qu’aucune variable explicative ne peut s’écrire comme une combinaison linéaire exacte d’autres prédicteurs du modèle.

5. Normalité asymptotique : Bien que le théorème de Gauss-Markov n’exige nullement la gaussianité des erreurs pour établir l’optimalité de variance, l’hypothèse complémentaire $\varepsilon \sim \mathcal{N}(0, \sigma^2 I_n)$ s’avère indispensable pour dériver la distribution exacte des estimateurs en échantillon fini. C’est elle qui permet d’établir formellement que $\hat{\beta}$ suit une loi normale multidimensionnelle et d’ériger les tests d’hypothèses classiques fondés sur la distribution de Student et la distribution de Fisher-Snedecor.

2.3 Métriques d’ajustement et diagnostics d’adéquation

L’évaluation de la performance d’un modèle de régression linéaire repose sur la décomposition de la variance totale de la variable à expliquer en une somme de sous-variances orthogonales. L’identité fondamentale de l’analyse de la variance (ANOVA) s’exprime ainsi :

$$SCT = SCE + SCR$$

où $SCT = \sum_{i=1}^n (y_i – \bar{y})^2$ mesure la somme des carrés totale, $SCE = \sum_{i=1}^n (\hat{y}_i – \bar{y})^2$ quantifie la somme des carrés expliquée par le modèle linéaire, et $SCR = \sum_{i=1}^n (y_i – \hat{y}_i)^2 = \sum_{i=1}^n \hat{\varepsilon}_i^2$ traduit la somme des carrés résiduelle non captée. À partir de cette partition, le coefficient de détermination standard, noté $R^2$, s’établit comme la proportion de la variance empirique absorbée par la régression :

$$R^2 = \frac{SCE}{SCT} = 1 – \frac{SCR}{SCT}$$

Ce ratio présente toutefois une faiblesse structurelle majeure : l’adjonction arbitraire de nouvelles covariables au modèle entraîne mathématiquement une baisse systématique (ou au minimum une stagnation) de la somme résiduelle $SCR$, provoquant une augmentation mécanique artificielle du $R^2$, même si les variables introduites ne véhiculent aucun signal pertinent. Pour parer à cette dérive surajustante, Henri Theil a introduit le coefficient de détermination ajusté, noté $\bar{R}^2$, qui applique une pénalisation stricte proportionnelle au nombre de degrés de liberté consommés par le vecteur de paramètres :

$$\bar{R}^2 = 1 – \left( \frac{SCR / (n – p – 1)}{SCT / (n – 1)} \right) = 1 – (1 – R^2)\frac{n – 1}{n – p – 1}$$

Au-delà des ratios de variance, les praticiens scrutent l’erreur absolue moyenne (MAE, pour Mean Absolute Error) et l’erreur quadratique moyenne (RMSE, pour Root Mean Squared Error), cette dernière s’avérant particulièrement sensible aux déviations d’amplitude extrême en raison de l’élévation quadratique de l’écart. L’analyse des résidus studentisés constitue un autre volet névralgique du diagnostic statistique :

$$r_i = \frac{\hat{\varepsilon}_i}{\hat{\sigma} \sqrt{1 – h_{ii}}}$$

où $h_{ii}$ désigne le $i$-ème élément diagonal de la matrice chapeau $H$, traduisant le levier ou l’éloignement géométrique de la $i$-ème observation par rapport au barycentre du nuage de points. Pour détecter les observations exerçant une influence démesurée sur l’estimation de l’hyperplan, l’analyse s’appuie sur la distance de Cook $D_i$, qui agrège l’écart résiduel et le levier :

$$D_i = \frac{e_i^2}{(p+1)\hat{\sigma}^2} \left[ \frac{h_{ii}}{(1 – h_{ii})^2} \right]$$

Une distance de Cook excédant la valeur critique de $4/n$ ou de l’unité signale généralement un point aberrant ou hautement influent qui fausse structurellement l’inférence. Enfin, le test de Fisher global évalue la significativité conjointe de l’ensemble des prédicteurs via la statistique :

$$F = \frac{SCE / p}{SCR / (n – p – 1)} \sim \mathcal{F}(p, n – p – 1)$$

rejetant l’hypothèse nulle d’absence d’effet global dès lors que la p-valeur associée franchit le seuil nominal choisi.

3. Fondements théoriques et probabilistes de la régression logistique

3.1 Formulation probabiliste, fonction sigmoïde et transformation logit

La régression logistique aborde la relation prédictive sous un angle radicalement différent en substituant à l’espace euclidien non borné un cadre probabiliste contraint. Dans le paradigme binaire standard, la variable dépendante $Y_i$ est modélisée comme une variable aléatoire suivant une loi de Bernoulli conditionnelle de paramètre $\pi(X_i) = P(Y_i = 1 | X_i)$. La réalisation directe d’une combinaison linéaire pour estimer cette grandeur soulève une contradiction topologique insurmontable : l’espace de sortie d’un produit scalaire $X_i\beta in \mathbb{R}$ est infini, s’étendant théoriquement de $-\infty$ à $+\infty$, alors qu’une mesure de probabilité doit impérativement respecter les axiomes de Kolmogorov et demeurer confinée dans le segment fermé $[0, 1]$.

Pour résoudre cette incohérence fondamentale, la régression logistique applique une fonction de liaison non linéaire monotone, la fonction logistique standard (ou sigmoïde), qui réalise un difféomorphisme appliquant la droite réelle $\mathbb{R}$ sur l’intervalle ouvert $]0, 1[$ :

$$\pi(X_i) = \sigma(X_i\beta) = \frac{1}{1 + e^{-X_i\beta}} = \frac{e^{X_i\beta}}{1 + e^{X_i\beta}}$$

Cette formulation permet d’introduire le concept central de rapport de cotes, couramment désigné sous le terme anglais d’odds. Les cotes représentent le ratio entre la probabilité d’occurrence d’un événement positif et la probabilité de son non-avènement :

$$\text{Cotes} = \frac{\pi(X_i)}{1 – \pi(X_i)} = \frac{\frac{e^{X_i\beta}}{1 + e^{X_i\beta}}}{1 – \frac{e^{X_i\beta}}{1 + e^{X_i\beta}}} = e^{X_i\beta}$$

En appliquant le logarithme népérien à ce rapport de cotes, on obtient la transformation dite logit, qui rétablit une stricte linéarité par rapport aux coefficients du modèle :

$$\text{logit}(\pi(X_i)) = \ln\left( \frac{\pi(X_i)}{1 – \pi(X_i)} \right) = X_i\beta = \beta_0 + \beta_1 X_{i1} + dots + \beta_p X_{ip}$$

Dans ce schéma, la régression logistique s’interprète comme un modèle linéaire opérant sur l’échelle des log-cotes (log-odds). L’espérance conditionnelle coïncide directement avec la probabilité de la classe cible, puisque pour une variable de Bernoulli :

$$\mathbb{E}[Y_i|X_i] = 1 \cdot P(Y_i=1|X_i) + 0 \cdot P(Y_i=0|X_i) = \pi(X_i)$$

Lorsque le phénomène d’intérêt présente plus de deux issues qualitatives, ce cadre se généralise de manière naturelle. Dans le cas de la régression logistique multinomiale (classes nominales non ordonnées $K > 2$), le modèle estime simultanément $K-1$ vecteurs de paramètres distincts relativement à une modalité de base de référence, tandis que dans le cas de variables ordinales, le modèle à cotes proportionnelles (modèle logit ordonné) contraint les pentes des prédicteurs à demeurer identiques tout en ajustant des seuils de découpage croissants sur l’axe latent.

3.2 Optimisation par estimation du maximum de vraisemblance (MLE)

Contrairement au cas de la régression linéaire, l’application du critère de minimisation de la somme des résidus au carré sur une fonction sigmoïdale produit une fonction de coût non convexe truffée d’optima locaux, interdisant le recours à la méthode des moindres carrés standard. La régression logistique puise donc sa force opérationnelle dans le principe de l’estimation par le maximum de vraisemblance (MLE, pour Maximum Likelihood Estimation). En formulant l’hypothèse que les tirages des $n$ observations de l’échantillon sont indépendants et identiquement distribués conditionnellement aux covariables, la fonction de vraisemblance s’exprime sous la forme du produit des densités de Bernoulli discrètes :

$$L(\beta) = \prod_{i=1}^n \pi(X_i)^{y_i} \left(1 – \pi(X_i)\right)^{1 – y_i}$$

Pour des raisons de commodité analytique et de stabilité numérique face aux produits de nombres infinitésimaux, on maximise de manière équivalente le logarithme de la vraisemblance, désigné sous le terme de log-vraisemblance $ell(\beta)$ :

$$ell(\beta) = \sum_{i=1}^n \left[ y_i \ln(\pi(X_i)) + (1 – y_i) \ln(1 – \pi(X_i)) \right]$$

En apprentissage automatique, cette fonction est conventionnellement inversée sous la forme de l’entropie croisée binaire ou fonction de perte logarithmique (log-loss) que l’on cherche à minimiser : $J(\beta) = -\frac{1}{n}ell(\beta)$. La différentiation de la log-vraisemblance par rapport au vecteur de paramètres $\beta$ fait apparaître une structure remarquable. En utilisant la propriété de dérivée de la sigmoïde $sigma'(z) = \sigma(z)(1 – \sigma(z))$, le gradient (ou vecteur de score $U(\beta)$) s’écrit :

$$\nabla_{\beta} ell(\beta) = \sum_{i=1}^n (y_i – \pi(X_i)) X_i = X^T(Y – \pi)$$

L’équation de score $X^T(Y – \pi) = 0$ présente une analogie frappante avec les équations normales des MCO ($X^T(Y – X\beta) = 0$), à la nuance fondamentale près que le vecteur de probabilités $\pi$ dépend de $\beta$ de façon fortement non linéaire via la transformation logistique. Il n’existe donc aucune solution analytique explicite sous forme close pour isoler le vecteur $\hat{\beta}_{\text{MLE}}$.

L’estimation des coefficients requiert ainsi la mise en œuvre d’algorithmes déterministes itératifs, au premier rang desquels figure la méthode de Newton-Raphson. Cette dernière met à jour les paramètres à chaque itération $t$ selon la relation :

$$\beta^{(t+1)} = \beta^{(t)} – \left[ \nabla^2 ell(\beta^{(t)}) \right]^{-1} \nabla ell(\beta^{(t)})$$

La matrice hessienne $\mathcal{H} = \nabla^2 ell(\beta)$ correspond à l’opposé de la matrice d’information observée de Fisher et se formalise matriciellement par :

$$\mathcal{H} = -X^T W X$$

où $W$ est une matrice diagonale de dimensions $n \times n$ dont les éléments valent $w_{ii} = \pi(X_i)(1 – \pi(X_i))$. Comme tous les termes diagonaux $w_{ii}$ sont strictement positifs pour des probabilités non dégénérées, la matrice de pondération $W$ est strictement définie positive, conférant à la hessienne un statut semi-défini négatif permanent. Il en découle que la surface de log-vraisemblance est strictement concave, garantissant l’existence et l’unicité théorique du point de convergence global, à moins d’une configuration pathologique de séparation parfaite des données. Cet algorithme itératif est fréquemment réécrit sous la forme de l’algorithme des moindres carrés itérativement repondérés (IRLS, pour Iteratively Reweighted Least Squares), où chaque étape résout un problème MCO pondéré sur une variable cible de travail linéarisée.

3.3 Métriques d’évaluation propres à la classification binaire

Dès lors que la régression logistique est exploitée pour segmenter la population étudiée en classes mutuellement exclusives, l’évaluation de sa performance s’affranchit des mesures de variance continue pour se focaliser sur des métriques d’adéquation issues de la théorie du signal et de la matrice de confusion. Soit un seuil de coupure $tau in ]0, 1[$ (couramment fixé à 0,5 par symétrie naïve), toute observation affichant $\hat{\pi}_i ge \tau$ est classée positivement ($\hat{y}_i = 1$), et négativement dans le cas contraire. La confrontation avec les états empiriques réels génère les quatre décomptes cardinaux : les Vrais Positifs ($VP$), les Faux Positifs ($FP$, erreur de type I), les Vrais Négatifs ($VN$) et les Faux Négatifs ($FN$, erreur de type II).

À partir de cette répartition fondamentale sont dérivées plusieurs métriques analytiques indispensables :

$$\text{Sensibilité (Rappel)} = \frac{VP}{VP + FN}$$

$$\text{Spécificité} = \frac{VN}{VN + FP}$$

$$\text{Précision} = \frac{VP}{VP + FP}$$

$$\text{F1-Score} = 2 \cdot \frac{\text{Précision} \cdot \text{Rappel}}{\text{Précision} + \text{Rappel}} = \frac{2VP}{2VP + FP + FN}$$

Le choix d’un seuil $tau$ unique s’avérant arbitraire et potentiellement réducteur face à des coûts de mauvaise classification asymétriques (par exemple en cancérologie, où le coût associé à un faux négatif excède infiniment celui d’un faux positif), l’analyse privilégie l’étude de la courbe ROC (Receiver Operating Characteristic). Cette courbe trace l’évolution paramétrique de la sensibilité en fonction de l’anti-spécificité ($1 – \text{Spécificité}$) pour l’ensemble exhaustif des valeurs de coupure possibles entre 0 et 1. L’aire sous cette courbe, abrégée AUC (Area Under the Curve), mesure la capacité discriminante globale du modèle : une AUC de 0,5 caractérise un prédicteur purement aléatoire, tandis qu’une valeur de 1,0 sanctionne un pouvoir de tri stochastique absolu, équivalent à la statistique non paramétrique de Wilcoxon-Mann-Whitney.

En complément de ces métriques basées sur les classifications discrétisées, l’évaluation du calibrage probabiliste direct s’effectue au moyen de pseudo-coefficients de détermination, dont le plus rigoureux est le Pseudo-$R^2$ de McFadden :

$$R^2_{\text{McFadden}} = 1 – \frac{ell(\hat{\beta}_{\text{complet}})}{ell(\hat{\beta}_{\text{nul}})}$$

où $ell(\hat{\beta}_{\text{nul}})$ représente la log-vraisemblance d’un modèle minimaliste ne comprenant que la constante d’ordonnée à l’origine. Des variantes rééchelonnées ont également été développées par Cox et Snell ainsi que par Nagelkerke pour tenter de rapprocher la borne supérieure de l’unité. Enfin, l’adéquation globale des probabilités ajustées face aux fréquences observées se valide par le test de Hosmer-Lemeshow, qui segmente les observations en déciles de risque prédit et calcule une statistique de Pearson de type $\chi^2$ confrontant les proportions théoriques et empiriques.

4. Analyse comparative systématique des divergences fondamentales

4.1 Nature de la variable dépendante et espace vectoriel de sortie

L’opposition la plus irréconciliable entre la régression linéaire et la régression logistique réside dans la typologie formelle de la variable à modéliser et les propriétés topologiques de son espace de mesure sous-jacent. Dans le cas de la régression linéaire, la variable dépendante $Y$ est une variable quantitative continue mesurée sur une échelle d’intervalles ou de ratios. L’espace vectoriel d’arrivée n’est autre que la droite réelle $\mathbb{R}$ tout entière (ou un sous-ensemble continu $\mathbb{R}^k$). Cette propriété autorise l’hyperplan prédit à prendre n’importe quelle valeur scalaire sans violer le cadre définitionnel de l’expérience statistique.

À l’inverse, la régression logistique opère sur un espace d’états d’arrivée fondamentalement discret, qualitatif et non métrique. Dans sa forme binaire, la variable réponse $Y$ est un indicateur booléen restreint à la paire discrète ${0, 1}$. Elle modélise la survenue ou l’absence d’un statut phénoménologique (succès/échec, malade/sain, défaillant/pérenne). Dès lors que l’on tente d’ajuster une droite MCO continue sur un nuage de points dont les ordonnées $y_i$ ne prennent que les valeurs 0 ou 1, les implications théoriques deviennent désastreuses. Pour toute valeur extrême du vecteur de régresseurs $X_i$, l’hyperplan continu extrapolera inévitablement des prédictions $\hat{y}_i = X_i\hat{\beta}$ strictement supérieures à 1 ou négatives, ce qui constitue une anomalie mathématique absolue pour des probabilités conditionnelles.

Le tableau comparatif suivant synthétise les contrastes structurels majeurs existant entre les deux approches :

Dimension d’analyse	Régression linéaire (MCO)	Régression logistique (MLE)
Nature de la variable réponse ($Y$)	Quantitative continue (métrique, non bornée a priori sur $\mathbb{R}$)	Qualitative discrète (binaire ${0,1}$, nominale ou ordinale polytomique)
Espace de sortie modélisé	Espérance conditionnelle continue : $\mathbb{E}[Y|X] in \mathbb{R}$	Probabilité conditionnelle bornée : $P(Y=1|X) in ]0, 1[$
Fonction de lien dans les GLM	Fonction identité : $g(\mu) = \mu$	Fonction logit : $g(\mu) = \ln\left(\frac{\mu}{1-\mu}\right)$
Critère d’optimisation	Minimisation de l’erreur quadratique ($L_2$ Loss / Moindres Carrés)	Maximisation de la log-vraisemblance / Minimisation de l’entropie croisée
Résolution mathématique	Analytique fermée exacte via les équations normales : $(X^TX)^{-1}X^TY$	Itérative numérique obligatoire (Newton-Raphson, IRLS, descente de gradient)
Hypothèse sur les résidus	Normalité, homoscédasticité constante ($\sigma^2$), indépendance	Distribution intrinsèquement binomiale/Bernoulli, variance hétéroscédastique
Interprétation des coefficients ($\beta_j$)	Effet marginal additif direct sur la moyenne de la cible $Y$	Effet multiplicatif sur le rapport de cotes via l’exponentielle : $\exp(\beta_j)$
Sensibilité aux points aberrants	Très élevée en raison de la croissance quadratique de la pénalité d’écart	Modérée sur l’espace probabiliste grâce à la saturation asymptotique sigmoïdale
Métriques d’ajustement standard	$R^2$, $R^2$ ajusté, MAE, RMSE, statistique $F$ de Fisher	AUC-ROC, Entropie croisée (Log-loss), F1-Score, Pseudo-$R^2$, Hosmer-Lemeshow

De plus, l’utilisation de la régression linéaire sur des données binaires induit une distorsion systématique de la variance. La variance théorique d’une variable distribuée selon une loi de Bernoulli dépend directement de son espérance : $\mathbb{V}ar(Y_i|X_i) = \pi(X_i)(1 – \pi(X_i))$. Dès lors, la variance du terme résiduel $\varepsilon_i = Y_i – X_i\beta$ s’écrit formellement $(X_i\beta)(1 – X_i\beta)$, fluctuant de manière déterministe en fonction du vecteur prédictif. L’hypothèse fondamentale d’homoscédasticité est ainsi irrémédiablement transgressée par construction, rendant obsolètes tous les calculs classiques d’intervalles de confiance basés sur les erreurs types standards.

4.2 Mécanismes d’optimisation et formes géométriques de la surface de perte

L’architecture sous-jacente du paysage d’erreur régit la complexité calculatoire et les garanties d’atteinte de l’optimum numérique. Dans le cadre de la régression linéaire sous formulation MCO, la surface de coût quadratique $|Y – Xbeta|_2^2$ trace une paraboloïde multidimensionnelle parfaitement convexe et symétrique. Cette topologie géométrique idéale implique l’existence d’un unique minimum global où le gradient s’annule, pouvant être atteint en une étape d’algèbre linéaire par calcul matriciel direct. La complexité temporelle est alors principalement dominée par l’inversion matricielle de la variance des covariables, d’ordre $\mathcal{O}(p^3)$ par décomposition de Cholesky standard, ou $\mathcal{O}(np^2)$ pour la constitution de la matrice de Gram.

À l’inverse, le modèle logistique est assujetti à la non-linéarité transcendante de la sigmoïde. Tenter d’appliquer les moindres carrés à l’expression non linéaire résulterait en une surface de coût tortueuse présentant de multiples minima locaux et zones de selle, interdisant toute convergence fiable. L’adoption de la fonction d’entropie croisée issue du principe de vraisemblance restaure la stricte convexité de l’espace de recherche. Néanmoins, l’inexistence d’une projection orthogonale directe contraint le système à employer des routines itératives. Chaque itération de l’algorithme IRLS impose de recalculer la matrice des poids $W^{(t)}$, d’évaluer la matrice hessienne $X^T W^{(t)} X$ et de procéder à son inversion, générant un coût calculatoire unitaire d’ordre $\mathcal{O}(t \cdot (np^2 + p^3))$ où $t$ représente le nombre de cycles nécessaires à la stabilisation numérique du gradient selon une tolérance préétablie (typiquement $epsilon < 10^{-6}$).

Cette distinction computationnelle devient prépondérante dans les environnements de calcul distribué ou de mégadonnées (Big Data). La régression linéaire autorise une parallélisation déterministe triviale de ses produits matriciels via des mécanismes de type MapReduce. En revanche, la régression logistique requiert des synchronisations fréquentes d’état de gradient à travers les nœuds du cluster, incitant souvent les ingénieurs à substituer au Newton-Raphson exact des variantes d’approximation de gradient stochastique à mémoire limitée, telles que les algorithmes quasi-newtoniens L-BFGS (Limited-memory Broyden-Fletcher-Goldfarb-Shanno).

4.3 Interprétabilité sémantique des coefficients estimés

L’un des axes de clivage les plus notables pour les praticiens réside dans la signification sémantique directe des coefficients estimés $\hat{\beta}_j$. Dans une régression linéaire standard, la dérivée partielle de l’espérance conditionnelle par rapport à la $j$-ème covariable est constante :

$$\frac{\partial \mathbb{E}[Y|X]}{\partial X_j} = \beta_j$$

L’effet marginal d’une variation d’une unité de la variable $X_j$ se traduit systématiquement par un accroissement direct, immuable et additif de $\beta_j$ unités de la variable cible $Y$, toutes choses restant égales par ailleurs (condition ceteris paribus). Cette lisibilité arithmétique transparente facilite grandement la vulgarisation des résultats auprès de décideurs non statisticiens, par exemple pour quantifier l’impact direct d’une dépense publicitaire en euros sur un chiffre d’affaires commercial.

Dans la régression logistique, la présence de la fonction de liaison logit métamorphose profondément la nature de l’effet marginal. La dérivée partielle de la probabilité conditionnelle par rapport à une variable continue n’est plus constante, mais varie dynamiquement selon l’emplacement précis de l’observation sur la courbe en S :

$$\frac{\partial P(Y=1|X)}{\partial X_j} = \beta_j \cdot \pi(X) \cdot (1 – \pi(X))$$

L’effet marginal sur la probabilité dépend donc simultanément de la valeur de toutes les autres covariables du modèle agrégées dans le calcul de $\pi(X)$. Cet effet atteint son maximum absolu au point d’inflexion où $\pi(X) = 0,5$ (où le produit vaut $0,25 \cdot \beta_j$, connu sous le nom de règle du quart), et tend asymptotiquement vers zéro aux extrémités de la distribution où les probabilités sont déjà saturées proches de 0 ou de 1.

Pour s’émanciper de cette variabilité locale, la littérature s’appuie sur l’exponentiation du coefficient, $\text{OR}_j = \exp(\beta_j)$, qui fournit une interprétation invariante sous forme de rapport de cotes (Odds Ratio). L’effet devient ainsi purement multiplicatif sur les chances relatives : une hausse d’une unité de $X_j$ multiplie les cotes de réalisation de l’événement cible par le facteur $e^{\beta_j}$. Si $\beta_j = 0,693$, alors $e^{0,693} \approx 2,0$, ce qui signifie que l’augmentation d’une unité de la variable double le rapport des cotes de survenue de l’événement. Cette sémantique géométrique et multiplicative s’avère nettement plus abstraite à restituer dans des contextes opérationnels profane où les cotes sont fréquemment confondues par erreur avec de purs pourcentages de risque absolu.

4.4 Robustesse aux valeurs aberrantes et structure des résidus

La morphologie des fonctions de coût induit une divergence majeure de résilience face à la contamination du jeu de données par des valeurs aberrantes (outliers) ou des points de levier disproportionnés. Dans le modèle linéaire, l’évaluation de la performance au moyen de la distance euclidienne quadratique $\sum (y_i – \hat{y}_i)^2$ attribue un poids démesurément exponentiel aux résidus importants. Une unique observation située à une distance extrême du barycentre moyen des prédicteurs, combinée à une réponse erronée, peut agir comme un puissant point d’inflexion mécanique capable de faire basculer l’orientation de l’hyperplan optimal tout entier, dégradant la représentativité du modèle pour la grande majorité des données régulières.

À l’opposé, la régression logistique bénéficie de l’amortissement asymptotique propre à la fonction sigmoïde. Dès lors qu’une observation présente un score linéaire $X_i\beta$ extrêmement élevé (par exemple $+8$), la probabilité ajustée plafonne à un niveau asymptotique quasi insensible aux incréments marginaux supplémentaires ($\pi \approx 0,9996$). Si cette observation est effectivement un point de classe 1, son résidu probabiliste $y_i – \pi(X_i) = 1 – 0,9996 = 0,0004$ demeure infinitésimal, et sa contribution au gradient de mise à jour $X_i^T(y_i – \pi(X_i))$ s’en trouve neutralisée.

Cependant, la régression logistique souffre d’une fragilité structurelle singulière qui lui est propre : le phénomène de séparation quasi-complète ou de séparation parfaite des données, mis en lumière par Albert et Anderson en 1984. Si un hyperplan vectoriel parvient à séparer de manière absolue et sans aucune erreur les observations de la classe 0 de celles de la classe 1, le maximum de vraisemblance ne peut plus être atteint à distance finie. Pour que la fonction d’entropie croisée atteigne son minimum absolu de zéro, le modèle doit attribuer des probabilités de 1 et 0 nettes, ce qui impose aux coefficients $\beta_j$ de tendre asymptotiquement vers l’infini ($+\infty$ ou $-\infty$). Lors de l’estimation numérique par Newton-Raphson, l’algorithme divergera inexorablement, provoquant une explosion des erreurs types asymptotiques et rendant les matrices de variance inexploitables, un écueil que ne rencontre jamais la résolution par moindres carrés ordinaires qui conserve toujours une solution matricielle bornée et définie.

5. Similitudes et convergences conceptuelles entre les deux approches

5.1 Unification mathématique sous l’égide des modèles linéaires généralisés (GLM)

Malgré l’abîme fonctionnel séparant l’analyse continue de la discrimination discrète, la régression linéaire et la régression logistique s’avèrent être les deux facettes d’un même édifice théorique au sein de la théorie unifiée des GLM établie par Nelder et Wedderburn. Dans ce schéma global, la distribution conditionnelle de la variable cible $Y$ est supposée appartenir à la famille exponentielle univariée canonique, dont la densité de probabilité paramétrée s’écrit formellement :

$$f(y; \theta, \phi) = \exp\left( \frac{y\theta – b(\theta)}{a(\phi)} + c(y, \phi) \right)$$

où $\theta$ désigne le paramètre naturel canonique traduisant l’effet de localisation, $phi$ représente le paramètre de dispersion d’échelle, et $b(\theta)$ constitue la fonction cumulante de la distribution, dont les dérivées successives engendrent l’espérance mathématique et la variance du processus aléatoire :

$$\mathbb{E}[Y] = \mu = b'(\theta) \quad \text{et} \quad \mathbb{V}ar(Y) = b »(\theta)a(\phi)$$

La régression linéaire ordinaire se matérialise lorsque l’on spécifie une loi normale gaussienne, pour laquelle le paramètre naturel est l’espérance elle-même ($\theta = \mu$), la fonction de dispersion est $a(\phi) = \sigma^2$, et la fonction cumulante s’écrit $b(\theta) = \theta^2/2$. La fonction de lien canonique qui relie le paramètre naturel au prédicteur linéaire $\eta = X\beta$ n’est autre que la fonction identité :

$$g(\mu) = \mu = X\beta$$

Dans la régression logistique, la distribution conditionnelle sélectionnée est la loi binomiale de Bernoulli pour laquelle le paramètre naturel s’avère être la log-cote canonique :

$$\theta = \ln\left( \frac{\mu}{1 – \mu} \right)$$

avec un paramètre de dispersion fixé par construction théorique à l’unité ($a(phi) = 1$) et une fonction cumulante définie par $b(\theta) = \ln(1 + e^{\theta})$. La fonction de lien canonique associée devient précisément la transformation logit :

$$g(\mu) = \ln\left( \frac{\mu}{1 – \mu} \right) = X\beta$$

Cette perspective intégrative prouve de manière irréfutable que la régression logistique n’est pas une heuristique empirique dissociée des statistiques classiques, mais l’adaptation exacte et rigoureuse des propriétés de projection linéaire aux spécificités distributionnelles d’un processus générateur binaire non gaussien.

5.2 Vulnérabilité conjointe à la multicolinéarité et techniques de régularisation

Les deux algorithmes partagent une vulnérabilité commune fondamentale dictée par l’architecture sous-jacente de leur prédicteur linéaire $\eta = \sum_{j=0}^p \beta_j X_j$. Lorsque les covariables sélectionnées au sein de la matrice de données $X$ présentent des dépendances stochastiques linéaires élevées, le problème de la multicolinéarité émerge avec une acuité redoutable. Dans la régression linéaire, la matrice de Gram $X^TX$ devient mal conditionnée, ses valeurs propres les plus faibles s’effondrent vers zéro et le déterminant matriciel devient infinitésimal. Il en résulte une explosion dramatique de la variance des coefficients estimés :

$$\mathbb{V}ar(\hat{\beta}_j) = \frac{\sigma^2}{(1 – R_j^2) \sum_{i=1}^n (X_{ij} – \bar{X}_j)^2}$$

où $R_j^2$ quantifie la régression auxiliaire de la covariable $j$ sur toutes les autres variables. Le facteur d’inflation de la variance (VIF, pour Variance Inflation Factor), défini par $1/(1 – R_j^2)$, franchit alors les seuils critiques (couramment 5 ou 10), rendant les coefficients hyper-sensibles à la moindre fluctuation de l’échantillon d’apprentissage. Dans la régression logistique, la multicolinéarité dégrade de façon tout à fait analogue la matrice hessienne $X^TWX$, déstabilisant le calcul de l’inverse lors des étapes de Newton-Raphson et générant des log-cotes imprécises aux intervalles de confiance artificiellement béants.

Pour juguler cette pathologie d’instabilité, les deux familles de modèles partagent le même arsenal de régularisation sous contraintes pénalisées au sein de leur fonction de perte respective :

1. La régularisation Ridge (Pénalité $L_2$) : Introduit un terme quadratique $\lambda \sum_{j=1}^p \beta_j^2$ forçant la contraction isotrope des coefficients vers le centre sans jamais les annuler totalement. Elle résout formellement le mauvais conditionnement matriciel en ajoutant un biais contrôlé à la diagonale ($X^TX + \lambda I$).

2. La régularisation Lasso (Pénalité $L_1$) : Implémente une contrainte fondée sur la norme absolue $\lambda \sum_{j=1}^p |\beta_j|$. En vertu de la singularité géométrique en pointe des sphères de norme $L_1$ au croisement des axes factoriels, le Lasso opère une sélection parcimonieuse automatique en forçant certains coefficients de covariables corrélées ou peu informatives à s’annuler strictement à zéro.

3. La méthode ElasticNet : Combine de manière convexe les pénalités $L_1$ et $L_2$ par un terme $\lambda \left( \alpha |beta|_1 + \frac{1 – \alpha}{2} |beta|_2^2 \right)$, préservant l’effet de sélection de variables du Lasso tout en stabilisant la sélection de groupes de prédicteurs hautement colinéaires grâce à la courbure de la régularisation Ridge.

Il importe de souligner une exigence méthodologique stricte commune aux deux modèles lors de l’application de ces contraintes : l’impérieuse nécessité de procéder à un centrage et une réduction préalable (standardisation) des covariables. Étant donné que la pénalisation s’applique uniformément à la valeur numérique brute des coefficients $\beta_j$, des variables mesurées sur des échelles hétérogènes (par exemple le revenu annuel en dizaines de milliers d’euros et l’âge en années) subiraient une pénalisation asymétrique totalement aberrante si elles n’étaient pas ramenées à une variance unitaire préalable.

5.3 Exigences communes relatives à la préparation des données

Sur le plan opérationnel de l’ingénierie des données et de l’architecture des pipelines d’apprentissage, la régression linéaire et la régression logistique requièrent des protocoles de prétraitement rigoureusement identiques en raison de la nature vectorielle de leur espace d’entrée. Aucun des deux modèles n’est intrinsèquement capable de traiter des valeurs manquantes ou des modalités textuelles brutes de façon native, contrairement aux architectures par arbres de décision (comme XGBoost ou les forêts aléatoires) qui peuvent segmenter des données incomplètes ou catégorielles sans transformation formelle préalable.

Face aux lacunes informationnelles, le statisticien doit impérativement recourir à des protocoles d’imputation cohérents. Si l’imputation par la moyenne ou la médiane demeure une heuristique rustique, elle induit une sous-estimation systématique de la variance empirique et dénature la structure de corrélation croisée. L’application d’imputations multivariées plus sophistiquées, telles que l’algorithme MICE (Multivariate Imputation by Chained Equations) fondé sur des équations de Gibbs chaînées, s’avère indispensable pour préserver l’intégrité de la structure stochastique des données avant le calcul des gradients de régression.

De surcroît, le codage des variables qualitatives nominales requiert une rigueur absolue. L’application directe d’un encodage ordinal naïf (assignant arbitrairement des entiers consécutifs $1, 2, 3$ aux catégories « Paris », « Lyon », « Marseille ») injecte une hiérarchie métrique artificielle dénuée de sens géométrique que le produit scalaire $X\beta$ absorberait comme un rapport de proportionnalité réel. Il est donc indispensable d’appliquer un encodage disjonctif complet (One-Hot Encoding) ou un codage contrasté par effets, en veillant méthodiquement à omettre l’une des modalités pour former la classe de référence, prévenant ainsi le piège redouté de la colinéarité stricte entre variables indicatrices connu sous le nom de « piège de la variable muette » (dummy variable trap).

Enfin, aucune des deux architectures ne possède la capacité algorithmique intrinsèque d’identifier des effets non linéaires ou des interactions croisées sans une formalisation explicite de la part du modélisateur. Si l’effet marginal de la covariable $X_1$ sur la réponse varie en fonction du niveau d’une seconde covariable $X_2$, le prédicteur linéaire demeure incapable de capturer cette dynamique sans l’adjonction délibérée d’un terme d’interaction multiplicatif $X_1 X_2$ au sein de la matrice de plan. De même, la modélisation de courbures complexes exige l’intégration manuelle de polynômes orthogonaux ou de bases de splines de régression B-splines, soulignant que la sophistication de ces modèles paramétriques dépend pour une large part de l’ingénierie des caractéristiques menée en amont par le praticien.

6. Critères méthodologiques de sélection et cas d’usage pratiques

6.1 Typologie des cas d’usage privilégiant la régression linéaire

L’arbitrage en faveur de la régression linéaire s’impose dès lors que la question décisionnelle centrale consiste à estimer, quantifier ou prévoir l’ampleur d’une grandeur quantitative continue régie par des processus physiques, économiques ou mécaniques sans bornes intrinsèques strictes. Dans ces contextes, la métrique d’intérêt conserve une signification intrinsèque sur l’intégralité de son continuum métrique.

Parmi les champs applicatifs majeurs, l’économétrie financière et immobilière mobilise massivement le cadre des MCO. La valorisation hédonique d’un bien immobilier illustre parfaitement cette dynamique : il s’agit d’estimer un prix de transaction foncière exprimé en monnaie continue à partir d’un faisceau de covariables (superficie en mètres carrés, performance énergétique, proximité des infrastructures de transport, indice de criminalité du quartier). La régression linéaire permet de décomposer rigoureusement la valeur marchande en valorisations marginales additives pour chaque attribut unitaire du bâti. De même, en gestion de portefeuille, le célèbre modèle d’évaluation des actifs financiers (MEDAF ou CAPM) utilise la régression linéaire simple pour estimer le coefficient bêta d’un titre financier, mesurant la sensibilité systématique de son rendement continu par rapport aux oscillations globales de l’indice de marché.

Les sciences de l’ingénieur et l’industrie manufacturière font également un usage intensif de ce formalisme pour le calibrage de tolérances physiques et l’anticipation de paramètres thermiques ou barométriques. Prédire la consommation volumétrique de carburant d’un moteur à combustion selon son régime de rotation, sa cylindrée et son aérodynamisme, ou évaluer l’usure micrométrique d’une pièce métallique assujettie à des cycles de friction continue, relève strictement de la régression d’espérance continue. Enfin, dans le domaine du marketing prédictif, l’estimation de la valeur vie client (Customer Lifetime Value) en montant financier cumulé ou la prévision des volumes de vente à l’échelle d’un réseau logistique s’appuient sur les moindres carrés pour équilibrer la distribution d’approvisionnement et optimiser les flux de stocks.

6.2 Typologie des cas d’usage dédiés à la régression logistique

La régression logistique acquiert une souveraineté méthodologique absolue dès lors que le système étudié converge vers une alternative d’action irréductible, un statut dichotomique ou un choix qualitatif discret. L’enjeu n’est plus de quantifier un montant, mais d’assigner une probabilité conditionnelle calibrée afin de hiérarchiser un risque ou de déclencher un arbitrage unilatéral.

Le secteur bancaire et financier en fournit l’application la plus célèbre à travers le scoring d’octroi de crédit. Lorsqu’un particulier dépose une demande de prêt, l’institution financière ne cherche pas à estimer une quantité continue, mais à évaluer la probabilité de survenue d’un défaut de paiement à un horizon temporel de douze ou vingt-quatre mois ($Y in {0, 1}$). Les variables explicatives (taux d’endettement, stabilité contractuelle, historique d’impayés, épargne résiduelle) alimentent la fonction logistique pour délivrer un score de risque standardisé. Ce score permet non seulement d’établir des seuils d’acceptation automatique du dossier, mais sert également d’intrant réglementaire imposé par les accords prudentiels de Bâle III pour quantifier les exigences de fonds propres pondérés par le risque (paramètre PD, pour Probability of Default).

En épidémiologie et en santé publique, la régression logistique constitue la pierre angulaire des études cas-témoins. Qu’il s’agisse de mesurer l’impact de la consommation de tabac sur l’incidence du carcinome bronchique ou d’estimer les facteurs pronostiques de mortalité post-opératoire en soins intensifs, l’approche permet d’extraire des rapports de cotes ajustés mesurant la force d’association brute d’un facteur d’exposition tout en contrôlant rigoureusement l’effet de biais de confusion causés par l’âge ou les comorbidités préexistantes. Enfin, dans les industries numériques à haute vélocité, la modélisation de l’attrition client (churn rate) des plateformes d’abonnement ou la prédiction du taux de clic (CTR, Click-Through Rate) sur les bannières publicitaires en ligne exploitent la régression logistique massive pour optimiser en temps réel les enchères publicitaires programmatiques.

6.3 Arbre de décision pour le praticien des données

Afin de synthétiser le processus rationnel d’arbitrage méthodologique face à une nouvelle problématique d’ingénierie statistique, le praticien doit appliquer une suite ordonnée de critères typologiques et formels. Cette démarche heuristique peut être formalisée sous la forme d’un protocole d’interrogation séquentiel :

1. Examen de l’échelle de mesure de la cible $Y$ :

• La variable est-elle continue, quantitative, mesurable sur un intervalle non borné sans seuil de saturation artificiel ? → Orienter l’étude vers la Régression Linéaire.
• La variable est-elle qualitative, catégorielle, binaire ou indicatrice d’un événement disjonctif ? → Orienter l’étude vers la Régression Logistique (ou ses extensions multinomiales/ordinales).
• La variable est-elle un dénombrement entier strictement positif ($0, 1, 2, dots$) traduisant des arrivées d’événements discrets par unité de temps ? → Rejeter la régression linéaire et logistique au profit d’un GLM de Poisson ou d’un modèle binomial négatif.
• La variable est-elle une proportion continue strictement bornée sur $]0, 1[$ (comme un taux d’occupation ou un pourcentage d’actifs) ? → Éviter la régression linéaire classique ; privilégier une régression bêta ou une transformation logit directe combinée aux GLM.

2. Audit des hypothèses distributionnelles et résiduelles :

• Si le choix initial s’est porté sur la régression linéaire, soumettre impérativement les résidus estimés aux tests formels de Breusch-Pagan (homoscédasticité), de Durbin-Watson (absence d’autocorrélation) et de Shapiro-Wilk (normalité). Si l’hétéroscédasticité est substantielle et ne peut être corrigée par une transformation logarithmique de la cible, substituer aux MCO la méthode des moindres carrés généralisés (GLS) ou intégrer des estimateurs de variance robustes dits de White/Huber.
• Si le choix s’est porté sur la régression logistique, contrôler la prévalence de la classe positive. En présence d’un déséquilibre massif (par exemple un cas de fraude pour 10 000 transactions normales), la fonction de perte par entropie croisée standard devient inefficace et sous-estime systématiquement la probabilité de l’événement rare. Le modélisateur doit alors recourir à une correction de King-Zeng pour événements rares, à des fonctions de perte pondérées (focal loss) ou à des protocoles de rééchantillonnage calibrés (SMOTE).

3. Arbitrage entre explicabilité réglementaire et expressivité fonctionnelle :

• Dans les industries fortement encadrées par la puissance publique (crédit bancaire soumis à la loi bancaire, dispositifs médicaux validés par les agences sanitaires), l’obligation de rendre compte du rôle exact joué par chaque prédicteur dans le calcul de la décision finale justifie le maintien de la régression linéaire ou logistique, en acceptant une légère dégradation de la performance prédictive brute au profit d’une auditabilité causale totale. Si, à l’inverse, l’objectif unique réside dans la précision pure au détriment de l’interprétabilité, le passage à des architectures d’apprentissage ensembliste non linéaires (LightGBM, forêts aléatoires) ou à des réseaux de neurones profonds peut être légitimé.

7. Foire aux questions sur la régression linéaire et la régression logistique

7.1 Pourquoi ne peut-on pas employer la régression linéaire pour résoudre un problème de classification ?

L’application d’un modèle de régression linéaire par moindres carrés ordinaires sur une variable dépendante binaire $Y in {0, 1}$ (approche qualifiée de « modèle de probabilité linéaire ») engendre trois transgressions méthodologiques graves et incompatibles avec une inférence statistique valide :

1. La violation absolue des bornes de l’espace de probabilité : L’hyperplan de régression linéaire $\hat{Y} = X\hat{\beta}$ est une fonction affine non contrainte. Par conséquent, pour des observations combinant des régresseurs d’amplitudes extrêmes, la droite projetée produit mathématiquement des valeurs prédites $\hat{Y} > 1$ ou $hat{Y} < 0$. Une prédiction quantifiant une « probabilité de récidive de 135 % » ou un « risque de défaillance financière de -42 % » est dénuée de sens probabiliste et interdit l'intégration du score dans des moteurs de risque bayésiens.

2. L’hétéroscédasticité structurelle inévitable : Comme démontré à la section 4.1, la variance d’une variable conditionnellement distribuée selon une loi de Bernoulli vaut $\mathbb{V}ar(Y|X) = \pi(X)(1 – \pi(X))$. Puisque la variance des termes d’erreur fluctue mécaniquement avec les prédicteurs, l’hypothèse canonique de variance résiduelle constante ($\sigma^2 I$) du théorème de Gauss-Markov est violée de façon systématique. Il s’ensuit que les erreurs types des estimateurs de coefficients sont substantiellement biaisées, ruinant la fiabilité des tests d’hypothèses de Student et la construction des intervalles de confiance.

3. La sensibilité démesurée aux points correctement classés mais distants : Dans un problème de classification discriminante binaire, une observation appartenant indubitablement à la classe 1 et présentant une valeur explicative positive colossale devrait conforter le modèle dans son assignation. Or, la régression linéaire pénalise tout écart vis-à-vis de l’hyperplan par un coût quadratique $(y_i – \hat{y}_i)^2$. Si le modèle prédit une ordonnée $\hat{y}_i = 3$ pour une observation réelle valant $y_i = 1$, la fonction d’erreur MCO enregistre une pénalité résiduelle massive $(1 – 3)^2 = 4$. Le modèle va donc distordre l’inclinaison de son hyperplan afin de se rapprocher artificiellement de ce point, dégradant la frontière de décision au détriment des observations situées dans la zone de transition névralgique proche du barycentre des classes.

7.2 Comment interpréter rigoureusement les rapports de cotes (Odds Ratios) en pratique ?

L’interprétation rigoureuse d’un coefficient estimé $\hat{\beta}_j$ dans une régression logistique binaire exige son exponentiation préalable pour obtenir le rapport de cotes : $\text{OR}_j = \exp(\hat{\beta}_j)$. La cote (odds) d’un événement étant définie par $\frac{P}{1-P}$, le rapport de cotes confronte la cote mesurée suite à une augmentation d’une unité de la variable explicative d’intérêt $X_j$ à la cote de base d’origine, à paramètres constants :

$$\text{OR}_j = \frac{\text{Cotes}(X_j + 1)}{\text{Cotes}(X_j)} = \frac{e^{\beta_0 + dots + \beta_j(X_j + 1) + dots}}{e^{\beta_0 + dots + \beta_j X_j + dots}} = e^{\beta_j}$$

L’évaluation s’articule par rapport au seuil critique de l’unité :

• Si $\text{OR}_j = 1$ ($\hat{\beta}_j = 0$) : La covariable n’exerce aucun effet marginal multiplicatif sur les chances d’occurrence de l’événement d’intérêt.
• Si $\text{OR}_j > 1$ ($\hat{\beta}_j > 0$) : L’incrément d’une unité de la covariable élève les cotes relatives du succès par un facteur $\text{OR}_j$. Par exemple, si $\text{OR} = 1,40$, les cotes relatives s’accroissent de 40 %.
• Si $text{OR}_j < 1$ ($hat{beta}_j < 0$) : L’incrément de la variable agit comme un facteur protecteur, contractant la cote par le facteur$text{OR}_j$. Un$text{OR} = 0,75$ traduit une réduction de 25 % des cotes d’occurrence.

Une confusion méthodologique dramatique, particulièrement répandue dans la communication biomédicale vulgarisée, consiste à assimiler à tort le rapport de cotes (Odds Ratio) au risque relatif (RR, pour Relative Risk), qui quantifie le pur ratio des probabilités absolues $RR = \frac{P(Y=1|X=1)}{P(Y=1|X=0)}$. L’Odds Ratio n’approxime fidèlement le Risque Relatif que sous l’hypothèse d’une pathologie ou d’un événement à prévalence extrêmement rare au sein de la population étudiée (typiquement lorsque $P(Y=1) < 5%$). Dès lors que l'événement d'intérêt devient fréquent, l'Odds Ratio s'éloigne drastiquement de l'unité et surexprime considérablement l'ampleur de l'effet marginal réel, prêtant à la covariable un impact amplifié par rapport à la véritable variation de probabilité absolue.

7.3 Comment adapter la régression logistique à une variable cible comprenant plus de deux classes ?

L’extension de la régression logistique à des contextes de classification polytomique où la variable qualitative réponse comporte $K > 2$ modalités discrètes mutuellement exclusives repose sur trois stratégies méthodologiques distinctes, conditionnées par la structure relationnelle liant les catégories :

1. La régression logistique multinomiale (classes nominales non ordonnées) :

Lorsque les modalités ne possèdent aucune hiérarchie sous-jacente (par exemple le choix d’un moyen de transport : [Train, Voiture, Vélo]), le modèle sélectionne arbitrairement l’une des catégories comme classe pivot de référence (par exemple la modalité $K$) et calibre simultanément $K-1$ équations vectorielles de log-cotes généralisées :

$$\ln\left( \frac{P(Y = k | X)}{P(Y = K | X)} \right) = X\beta^{(k)}, \quad \forall k in {1, dots, K-1}$$

L’application de la fonction de normalisation polytomique (connue en apprentissage automatique sous le nom de fonction softmax) permet d’en déduire les probabilités individuelles pour l’ensemble exhaustif des catégories :

$$P(Y = k | X) = \frac{e^{X\beta^{(k)}}}{1 + \sum_{j=1}^{K-1} e^{X\beta^{(j)}}} \quad \text{pour } k < K, \quad \text{et} \quad P(Y = K | X) = \frac{1}{1 + \sum_{j=1}^{K-1} e^{X\beta^{(j)}}}$$

2. Les méta-heuristiques de binarisation (OvR et OvO) :

Dans les bibliothèques d’ingénierie logicielle telles que Scikit-Learn, la classification multinomiale est régulièrement découpée en collections de classifieurs logistiques binaires indépendants. La stratégie « Un-contre-Reste » (One-vs-Rest ou OvR) ajuste $K$ modèles logistiques binaires séparés, chacun évaluant la probabilité d’une classe $k$ contre l’agrégation de toutes les autres. L’approche « Un-contre-Un » (One-vs-One ou OvO) entraîne pour sa part $\frac{K(K-1)}{2}$ modèles binaires opposant toutes les paires possibles de classes, la prédiction finale étant attribuée par un mécanisme de vote majoritaire.

3. Le modèle à cotes proportionnelles (classes ordinales ordonnées) :

Lorsque les modalités respectent une échelle de progression naturelle (par exemple la sévérité d’un traumatisme : [Bénin, Modéré, Critique]), la régression logistique ordinale s’appuie sur la modélisation des probabilités cumulées $P(Y le k | X)$. Le modèle postule que les coefficients directeurs $\beta$ sont strictement invariants à travers les niveaux de coupure, seuls les seuils d’interception $\alpha_k$ étant incrémentés :

$$\text{logit}(P(Y le k | X)) = \alpha_k – X\beta, \quad \text{a\vec } \alpha_1 < \alpha_2 < dots < \alpha_{K-1}$$

Cette hypothèse fondamentale de cotes proportionnelles (ou hypothèse des lignes parallèles) permet de conserver un modèle extrêmement économe en degrés de liberté, dont la validité empirique doit préalablement être certifiée par le test du score de Brant.

8. Synthèse comparative et perspectives en apprentissage automatique

8.1 Tableau récapitulatif des divergences algorithmiques et opérationnelles

L’exploration approfondie menée tout au long de cet ouvrage confirme la séparation formelle entre les domaines d’application des deux modèles. L’ingénieur ou le statisticien opérant sur un système d’analyse prédictive doit appréhender chaque algorithme à travers le prisme unifié de ses contraintes théoriques et de ses objectifs opérationnels. Le tableau synoptique ci-après condense l’ensemble des divergences de fond abordées au cours des développements méthodologiques précédents :

Critère de comparaison	Régression linéaire multiple	Régression logistique binaire
Objectif d’apprentissage primaire	Prédiction d’une grandeur continue et estimation de l’espérance conditionnelle	Estimation de la probabilité conditionnelle d’un statut binaire et discrimination catégorielle
Domaine d’image théorique	$]-\infty, +\infty[$ (la droite réelle $\mathbb{R}$)	$]0, 1[$ (mesure de probabilité normée)
Fonction de perte optimisée	Erreur quadratique résiduelle (Perte $L_2$) : $\frac{1}{2n}\sum (y_i – \hat{y}_i)^2$	Entropie croisée binaire (Log-Loss) : $-\frac{1}{n}\sum [y_i \ln \hat{y}_i + (1 – y_i) \ln(1 – \hat{y}_i)]$
Nature de la solution algorithmique	Solution explicite fermée en une passe matricielle : $(X^TX)^{-1}X^TY$	Recherche itérative locale (IRLS, Newton-Raphson, SGD, L-BFGS)
Propriétés distributionnelles postulées	Normalité gaussienne des perturbations résiduelles inobservables	Distribution conditionnelle de Bernoulli pour la variable réponse discrète
Comportement de variance résiduelle	Homoscédasticité requise ($\sigma^2$ invariant conditionnellement aux covariables)	Hétéroscédasticité déterministe intrinsèque : $\mathbb{V}ar(Y|X) = \pi(X)(1 – \pi(X))$
Sensibilité aux prédicteurs corrélés	Explosion de la variance de variance des poids (inflation VIF)	Instabilité du gradient hessien et dérive de variance asymptotique des log-cotes
Comportement en cas de séparabilité	Convergence garantie vers la projection orthogonale minimale unique	Divergence des coefficients vers l’infini (instabilité de quasi-séparation)
Indicateurs d’adéquation globale	Variance expliquée $R^2$, $R^2$ ajusté, MAE, RMSE, statistique $F$	AUC-ROC, Log-Loss, Pseudo-$R^2$ de McFadden, Brier Score, test de Hosmer-Lemeshow
Complexité computationnelle unitaire	$\mathcal{O}(np^2 + p^3)$ pour la constitution de Gram et son inversion de Cholesky	$\mathcal{O}(t \cdot (np^2 + p^3))$ où $t$ représente le nombre d’itérations du gradient

Cette comparaison met en relief la complémentarité fondamentale des approches : là où les moindres carrés cherchent la trajectoire géométrique optimale minimisant l’écart scalaire physique, la maximisation de vraisemblance sigmoïdale privilégie la concordance distributionnelle des occurrences stochastiques sous contraintes d’entropie.

8.2 Pérennité des modèles linéaires face aux architectures d’apprentissage profond

À l’ère contemporaine des réseaux de neurones profonds empilant des milliards de paramètres, des transformeurs auto-attentifs et des architectures d’arbres à gradient surpuissantes (XGBoost, CatBoost), il pourrait sembler anachronique de consacrer un investissement conceptuel aussi poussé à l’étude de modèles paramétriques linéaires formulés au XIXe et au XXe siècle. Pourtant, la régression linéaire et la régression logistique conservent un rôle indispensable au sein de l’écosystème mondial de l’ingénierie des données et de l’intelligence artificielle pour plusieurs raisons impérieuses.

Le premier facteur de pérennité réside dans l’exigence croissante d’explicabilité et de conformité réglementaire. Dans le cadre de cadres juridiques modernes, tels que le Règlement Général sur la Protection des Données (RGPD) au sein de l’Union européenne ou les directives de l’IA Act, tout citoyen est en droit d’exiger une explication intelligible face à un refus d’octroi de crédit, une tarification d’assurance individualisée ou un diagnostic clinique automatisé. Contrairement aux réseaux de neurones profonds assimilables à des « boîtes noires » opaques dont la décision découle d’interactions non linéaires hautement dimensionnelles impossibles à cartographier sans approximations complexes, les modèles linéaires et logistiques affichent des coefficients explicites et vérifiables, offrant une transparence causale et déterministe immédiate.

En second lieu, ces architectures constituent le jalon comparatif de référence (baseline) universel et obligatoire dans tout protocole expérimental rigoureux. Avant d’engager des ressources d’infrastructure considérables dans l’entraînement de modèles d’apprentissage profond énergivores et sujets au surajustement, le modélisateur a le devoir d’établir la performance plancher délivrée par une régression linéaire ou logistique convenablement régularisée. Dans de multiples applications tabulaires industrielles où le ratio entre le nombre de variables $p$ et le volume d’échantillons $n$ demeure restreint, les modèles paramétriques linéaires affichent fréquemment des métriques comparables, voire supérieures, à des architectures neuronales complexes grâce à leur parcimonie structurelle qui prévient la dérive de variance.

Enfin, la régression linéaire et la régression logistique ne sont pas des rivales de l’apprentissage profond : elles en constituent les cellules élémentaires. Le perceptron artificiel standard n’est autre qu’une régression linéaire dont la sortie est canalisée à travers une fonction d’activation non linéaire. Plus explicitement encore, la couche de sortie terminale de n’importe quel réseau de neurones multicouches dédié à la classification binaire ou multiclasse n’est rien d’autre qu’une régression logistique ou multinomiale (softmax) opérant sur un espace d’attributs latents linéarisés par les couches cachées en amont. Maîtriser les fondements algébriques, géométriques et probabilistes de ces deux piliers de l’analyse quantitative demeure, plus que jamais, le socle constitutif de toute compétence rigoureuse en science des données contemporaine.

Références

Albert, A., & Anderson, J. A. (1984). On the existence of maximum likelihood estimates in logistic regression models. Biometrika, 71(1), 1-10. https://doi.org/10.1093/biomet/71.1.1

Cook, R. D. (1977). Detection of influential observation in linear regression. Technometrics, 19(1), 15-18. https://doi.org/10.1080/00401706.1977.10489493

Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society: Series B (Methodological), 20(2), 215-232. https://doi.org/10.1111/j.2517-6161.1958.tb00292.x

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7

Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. (2013). Applied logistic regression (3rd ed.). John Wiley & Sons. https://doi.org/10.1002/9781118548387

McFadden, D. (1974). Conditional logit analysis of qualitative choice behavior. In P. Zarembka (Ed.), Frontiers in Econometrics (pp. 105-142). Academic Press.

Nelder, J. A., & Wedderburn, R. W. (1972). Generalized linear models. Journal of the Royal Statistical Society: Series A (General), 135(3), 370-384. https://doi.org/10.2307/2344614

Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological), 58(1), 267-288. https://doi.org/10.1111/j.2517-6161.1996.tb02080.x

Zou, H., & Hastie, T. (2005). Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 67(2), 301-320. https://doi.org/10.1111/j.1467-9868.2005.00503.x