{"id":4863,"date":"2026-09-11T13:52:53","date_gmt":"2026-09-11T13:52:53","guid":{"rendered":"http:\/\/french.arabpsychology.com\/statistics\/analyse-discriminante-lineaire-python-etape-par-etape\/"},"modified":"2026-09-11T13:52:55","modified_gmt":"2026-09-11T13:52:55","slug":"analyse-discriminante-lineaire-python-etape-par-etape","status":"publish","type":"psych_stat","link":"https:\/\/french.arabpsychology.com\/?psych_stat=analyse-discriminante-lineaire-python-etape-par-etape","title":{"rendered":"Analyse discriminante lin\u00e9aire en Python (\u00c9tape par \u00e9tape)"},"content":{"rendered":"

L’analyse discriminante lin\u00e9aire (souvent abr\u00e9g\u00e9e LDA, d’apr\u00e8s l’anglais Linear Discriminant Analysis<\/em>) constitue l’un des piliers m\u00e9thodologiques fondamentaux de la statistique multivari\u00e9e et de l’apprentissage automatique supervis\u00e9. Con\u00e7ue initialement par le statisticien et biologiste britannique Ronald Aylmer Fisher en 1936<\/a> pour r\u00e9soudre des probl\u00e9matiques taxonomiques li\u00e9es \u00e0 la classification morphologique de sp\u00e9cimens botaniques, cette m\u00e9thode s’est progressivement mu\u00e9e en un paradigme central du traitement de donn\u00e9es multidimensionnelles. Combinant les vertus d’un classifieur lin\u00e9aire probabiliste et d’un op\u00e9rateur de projection sous-spatiale optimale, la LDA r\u00e9pond \u00e0 une double exigence : s\u00e9parer distinctement des populations pr\u00e9-identifi\u00e9es tout en r\u00e9duisant l’espace des variables sans diluer l’information discriminante sous-jacente.<\/p>\n

Dans le paysage contemporain de la science des donn\u00e9es, o\u00f9 prolif\u00e8rent des algorithmes non lin\u00e9aires d’une complexit\u00e9 computationnelle substantielle tels que les for\u00eats al\u00e9atoires, les machines \u00e0 vecteurs de support \u00e0 noyaux ou les r\u00e9seaux de neurones profonds, la LDA pr\u00e9serve une pertinence heuristique et op\u00e9rationnelle singuli\u00e8re. Sa nature param\u00e9trique et g\u00e9n\u00e9rative lui conf\u00e8re une transparence math\u00e9matique absolue, garantissant une interpr\u00e9tabilit\u00e9 analytique rigoureuse que les mod\u00e8les dits de \u00ab bo\u00eete noire \u00bb ne peuvent offrir. De surcro\u00eet, sa parcimonie algorithmique en fait une approche particuli\u00e8rement r\u00e9siliente face au surapprentissage dans les sc\u00e9narios o\u00f9 la taille des \u00e9chantillons demeure modeste par rapport \u00e0 la dimension de l’espace des pr\u00e9dicteurs, \u00e0 la condition expresse que ses postulats distributionnels sous-jacents soient scrupuleusement respect\u00e9s.<\/p>\n

Ce guide exhaustif a pour vocation de d\u00e9construire, d’analyser et d’impl\u00e9menter l’analyse discriminante lin\u00e9aire \u00e0 travers le langage de programmation Python, en articulant de mani\u00e8re continue rigueur axiomatique et mise en \u0153uvre technique. Du fondement g\u00e9om\u00e9trique du crit\u00e8re de s\u00e9paration de Fisher \u00e0 la formulation bay\u00e9sienne des fonctions discriminantes, nous explorerons les m\u00e9canismes intimes de cet algorithme. Nous aborderons ensuite l’\u00e9valuation scrupuleuse de ses hypoth\u00e8ses de validit\u00e9 (normalit\u00e9 multivari\u00e9e, homosc\u00e9dasticit\u00e9, absence de colin\u00e9arit\u00e9 critique) avant de d\u00e9ployer un protocole d’impl\u00e9mentation industrielle \u00e9tape par \u00e9tape utilisant l’\u00e9cosyst\u00e8me scientifique standard compos\u00e9 de NumPy, SciPy, Pandas, Matplotlib, Seaborn et Scikit-Learn.<\/p>\n

1. Fondements th\u00e9oriques et math\u00e9matiques de l’analyse discriminante lin\u00e9aire<\/h2>\n

1.1 Principe de maximisation de la variance inter-classes et intra-classes<\/h3>\n

L’intuition g\u00e9om\u00e9trique originelle formul\u00e9e par Ronald Fisher repose sur une id\u00e9e d’une grande \u00e9l\u00e9gance : trouver une direction de projection sous-spatiale, d\u00e9finie par un vecteur de projection unidimensionnel ou multidimensionnel, le long de laquelle les centres de gravit\u00e9 des diff\u00e9rentes classes sont aussi \u00e9loign\u00e9s que possible les uns des autres, tandis que la dispersion des observations autour de leur centre respectif est minimale. Autrement dit, l’analyse cherche \u00e0 maximiser le rapport entre la variabilit\u00e9 externe (inter-classes) et la variabilit\u00e9 interne (intra-classes). Pour formaliser ce crit\u00e8re math\u00e9matique de fa\u00e7on analytique, il est n\u00e9cessaire d’introduire les deux matrices fondamentales qui structurent la g\u00e9om\u00e9trie des donn\u00e9es : la matrice de dispersion intra-classe et la matrice de dispersion inter-classe.<\/p>\n

Soit un ensemble d’apprentissage constitu\u00e9 de $n$<\/span> observations r\u00e9parties au sein de $K$<\/span> classes mutuellement exclusives, not\u00e9es $C_1, C_2, dots, C_K$<\/span>. Chaque observation $x_i$<\/span> est un vecteur colonne de dimension $p$<\/span>. La matrice de dispersion intra-classe, couramment d\u00e9sign\u00e9e par la notation $S_W$<\/span> (pour Within-class scatter matrix<\/em>), quantifie la somme des carr\u00e9s des \u00e9carts des individus par rapport au barycentre de leur classe respective. Elle est d\u00e9finie par la relation matricielle suivante :<\/p>\n

$$S_W = \\sum_{k=1}^{K} \\sum_{x in C_k} (x – \\mu_k)(x – \\mu_k)^T$$<\/span><\/p>\n

o\u00f9 $\\mu_k$<\/span> repr\u00e9sente le vecteur moyen empirique de la classe $C_k$<\/span>, calcul\u00e9 sur les $n_k$<\/span> individus composant ce groupe. Cette matrice $S_W$<\/span>, de dimensions $p \\times p$<\/span>, est proportionnelle \u00e0 la matrice de covariance combin\u00e9e (ou pooled covariance matrix<\/em>). Elle traduit l’incertitude et le bruit r\u00e9siduel interne \u00e0 chaque groupe qui ne d\u00e9pendent pas des diff\u00e9rences structurelles inter-groupes.<\/p>\n

Inversement, la matrice de dispersion inter-classe, d\u00e9sign\u00e9e sous le symbole $S_B$<\/span> (pour Between-class scatter matrix<\/em>), capture la dispersion relative des diff\u00e9rents centres de gravit\u00e9 $\\mu_k$<\/span> autour du barycentre global de la population totale, not\u00e9 $\\mu$<\/span>. Elle est formalis\u00e9e selon l’expression :<\/p>\n

$$S_B = \\sum_{k=1}^{K} n_k (\\mu_k – \\mu)(\\mu_k – \\mu)^T$$<\/span><\/p>\n

Dans l’optique de projeter les observations $x$<\/span> sur un axe unidimensionnel dirig\u00e9 par un vecteur unitaire $w$<\/span>, la projection scalaire d’une observation devient $y = w^T x$<\/span>. Dans cet espace projet\u00e9, la variance inter-classes s’exprime par le terme quadratique $w^T S_B w$<\/span>, tandis que la variance intra-classes s’\u00e9crit $w^T S_W w$<\/span>. Le probl\u00e8me d’optimisation de Fisher revient alors \u00e0 identifier le vecteur optimal $w$<\/span> maximisant le quotient scalaire, universellement connu sous le nom de ratio de Rayleigh g\u00e9n\u00e9ralis\u00e9<\/a> :<\/p>\n

$$J(w) = \\frac{w^T S_B w}{w^T S_W w}$$<\/span><\/p>\n

Pour d\u00e9terminer le vecteur $w$<\/span> qui maximise cette fonction objective, nous d\u00e9rivons $J(w)$<\/span> par rapport \u00e0 $w$<\/span> et annulons le gradient r\u00e9sultant. En exploitant les propri\u00e9t\u00e9s du calcul matriciel diff\u00e9rentiel, cette maximisation \u00e9quivaut \u00e0 r\u00e9soudre un probl\u00e8me aux valeurs propres g\u00e9n\u00e9ralis\u00e9 :<\/p>\n

$$S_W^{-1} S_B w = \\lambda w$$<\/span><\/p>\n

Sous r\u00e9serve que la matrice $S_W$<\/span> soit non singuli\u00e8re et donc strictement inversible, les directions discriminantes optimales correspondent aux vecteurs propres de l’op\u00e9rateur lin\u00e9aire $S_W^{-1} S_B$<\/span>, associ\u00e9s aux plus grandes valeurs propres r\u00e9elles $lambda$<\/span>. Ces valeurs propres quantifient directement le pouvoir de s\u00e9paration accord\u00e9 par chaque composante discriminante respective.<\/p>\n

1.2 Diff\u00e9renciation entre LDA pour la classification et LDA pour la r\u00e9duction de dimensionnalit\u00e9<\/h3>\n

L’analyse discriminante lin\u00e9aire s’articule autour d’une dualit\u00e9 fonctionnelle qu’il convient de distinguer rigoureusement : d’une part, elle op\u00e8re comme une technique supervis\u00e9e de r\u00e9duction de dimensionnalit\u00e9 g\u00e9om\u00e9trique ; d’autre part, elle agit comme un classifieur probabiliste Bayes-optimal. Cette distinction conceptuelle conditionne la mani\u00e8re dont les praticiens exploitent l’espace latent produit par les projections matricielles.<\/p>\n

Lorsqu’elle est mobilis\u00e9e \u00e0 des fins de r\u00e9duction de dimensionnalit\u00e9, la LDA op\u00e8re une transformation lin\u00e9aire projective de l’espace initial de dimension $p$<\/span> vers un sous-espace de dimension $d$<\/span>, o\u00f9 $d ll p$<\/span>. Toutefois, une contrainte alg\u00e9brique stricte s’impose quant \u00e0 la dimensionnalit\u00e9 maximale atteignable par ce sous-espace. La matrice de dispersion inter-classes $S_B$<\/span> est construite \u00e0 partir de la somme de $K$<\/span> vecteurs de rang 1 form\u00e9s par les \u00e9carts $(\\mu_k – \\mu)$<\/span>. Comme le barycentre global $\\mu$<\/span> est lui-m\u00eame une combinaison lin\u00e9aire des moyennes locales $\\mu_k$<\/span>, seuls $K-1$<\/span> de ces vecteurs sont lin\u00e9airement ind\u00e9pendants. Par cons\u00e9quent, le rang alg\u00e9brique de $S_B$<\/span> est au plus \u00e9gal \u00e0 $K-1$<\/span>. Il en d\u00e9coule que le produit matriciel $S_W^{-1} S_B$<\/span> poss\u00e8de au maximum $K-1$<\/span> valeurs propres non nulles. D\u00e8s lors, le nombre maximal de composantes discriminantes lin\u00e9aires orthogonales extractibles ne peut exc\u00e9der la limite structurelle de $C – 1$<\/span>, o\u00f9 $C$<\/span> (ou $K$<\/span>) correspond au nombre total de classes distinctes pr\u00e9sentes dans le probl\u00e8me consid\u00e9r\u00e9.<\/p>\n

\u00c0 l’oppos\u00e9, lorsque la LDA est employ\u00e9e comme classifieur, son objectif premier n’est pas uniquement de compresser l’espace des donn\u00e9es, mais d’assigner formellement chaque nouvelle observation \u00e0 la classe la plus plausible. Pour ce faire, elle segmente l’espace vectoriel d’origine \u00e0 l’aide d’hyperplans de d\u00e9cision lin\u00e9aires. Dans cette modalit\u00e9, le r\u00f4le des probabilit\u00e9s a priori<\/em> $\\pi_k = P(Y = C_k)$<\/span> devient pr\u00e9pond\u00e9rant. Ces probabilit\u00e9s agissent directement sur la position de l’hyperplan de coupure dans l’espace en d\u00e9pla\u00e7ant le seuil d\u00e9cisionnel au profit des classes statistiquement majoritaires au sein de la population. D’un point de vue g\u00e9om\u00e9trique, la fronti\u00e8re de d\u00e9cision lin\u00e9aire s\u00e9pare les r\u00e9gions d’assignation en d\u00e9coupant le domaine en poly\u00e8dres convexes.<\/p>\n

La divergence entre la projection supervis\u00e9e propre \u00e0 la LDA et les techniques non supervis\u00e9es r\u00e9side fondamentalement dans la prise en compte explicite de l’\u00e9tiquette de classe. Alors qu’une projection aveugle recherche les axes d’\u00e9tirement global de la distribution, la LDA impose une contrainte morphologique orient\u00e9e qui force l’alignement des axes factoriels sur les contrastes d’int\u00e9r\u00eat exp\u00e9rimental, pr\u00e9venant activement la confusion entre la variabilit\u00e9 al\u00e9atoire d’\u00e9chantillonnage et la structure de groupe discriminante.<\/p>\n

1.3 Formulation probabiliste et r\u00e8gle de d\u00e9cision bay\u00e9sienne<\/h3>\n

L’analyse discriminante lin\u00e9aire gagne une dimension th\u00e9orique fondamentale lorsqu’elle est abord\u00e9e sous l’angle de la th\u00e9orie bay\u00e9sienne de la d\u00e9cision. Dans ce cadre g\u00e9n\u00e9ratif, nous cherchons \u00e0 \u00e9valuer la probabilit\u00e9 a posteriori<\/em> qu’une observation sp\u00e9cifique $x$<\/span> appartienne \u00e0 une classe d\u00e9termin\u00e9e $C_k$<\/span>, not\u00e9e $P(Y = C_k mid X = x)$<\/span>. En appliquant de mani\u00e8re formelle le th\u00e9or\u00e8me de Bayes<\/a>, cette quantit\u00e9 s’exprime selon la relation :<\/p>\n

$$P(Y = C_k mid X = x) = \\frac{f_k(x) \\pi_k}{\\sum_{j=1}^{K} f_j(x) \\pi_j}$$<\/span><\/p>\n

o\u00f9 $\\pi_k$<\/span> d\u00e9signe la probabilit\u00e9 a priori<\/em> d’occurrence de la classe $C_k$<\/span>, et $f_k(x) = f(x mid Y = C_k)$<\/span> correspond \u00e0 la fonction de densit\u00e9 conditionnelle de probabilit\u00e9 d\u00e9crivant la distribution des pr\u00e9dicteurs $X$<\/span> au sein de cette m\u00eame modalit\u00e9 $C_k$<\/span>.<\/p>\n

Le postulat param\u00e9trique fondamental de la LDA r\u00e9side dans l’hypoth\u00e8se selon laquelle chaque classe suit une loi normale multivari\u00e9e (ou distribution gaussienne multidimensionnelle). La densit\u00e9 de probabilit\u00e9 s’\u00e9crit alors analytiquement :<\/p>\n

$$f_k(x) = \\frac{1}{(2\\pi)^{p\/2} |\\Sigma_k|^{1\/2}} \\exp\\left( -\\frac{1}{2} (x – \\mu_k)^T \\Sigma_k^{-1} (x – \\mu_k) \\right)$$<\/span><\/p>\n

L’hypoth\u00e8se d’homosc\u00e9dasticit\u00e9 propre \u00e0 la LDA stipule que toutes les classes partagent rigoureusement la m\u00eame matrice de covariance, soit $\\Sigma_k = \\Sigma$<\/span> pour tout $k in {1, dots, K}$<\/span>. En injectant cette matrice commune $\\Sigma$<\/span> dans l’expression de la densit\u00e9 conditionnelle, la probabilit\u00e9 a posteriori<\/em> se simplifie de fa\u00e7on remarquable. En vertu de la r\u00e8gle de d\u00e9cision du Maximum a posteriori<\/em> (MAP), une observation $x$<\/span> est attribu\u00e9e \u00e0 la classe $C_k$<\/span> qui maximise la quantit\u00e9 $P(Y = C_k mid X = x)$<\/span>. Comme le d\u00e9nominateur de la formule de Bayes est invariant par rapport \u00e0 $k$<\/span>, maximiser la probabilit\u00e9 a posteriori<\/em> revient \u00e0 maximiser le num\u00e9rateur $f_k(x) \\pi_k$<\/span>.<\/p>\n

Puisque la fonction logarithme n\u00e9p\u00e9rien est strictement croissante, cette optimisation est \u00e9quivalente \u00e0 la maximisation du logarithme de l’expression conjointe. En d\u00e9veloppant formellement cette transformation logarithmique, les termes quadratiques en $x^T \\Sigma^{-1} x$<\/span> s’annulent mutuellement lors de la comparaison de deux classes, ce qui fait dispara\u00eetre toute courbure des surfaces de s\u00e9paration :<\/p>\n

$$\\delta_k(x) = \\ln(f_k(x)\\pi_k) = -\\frac{1}{2} ln|Sigma| – \\frac{p}{2}\\ln(2\\pi) – \\frac{1}{2}(x – \\mu_k)^T \\Sigma^{-1} (x – \\mu_k) + \\ln(\\pi_k)$$<\/span><\/p>\n

En \u00e9liminant les constantes additives ind\u00e9pendantes de l’indice de classe $k$<\/span>, nous obtenons l’expression \u00e9pur\u00e9e de la fonction discriminante lin\u00e9aire $\\delta_k(x)$<\/span> :<\/p>\n

$$\\delta_k(x) = x^T \\Sigma^{-1} \\mu_k – \\frac{1}{2} \\mu_k^T \\Sigma^{-1} \\mu_k + \\ln(\\pi_k)$$<\/span><\/p>\n

Cette fonction $\\delta_k(x)$<\/span> est une transformation strictement affine de l’observation $x$<\/span>. L’\u00e9quation d\u00e9limitant la fronti\u00e8re de d\u00e9cision entre deux classes arbitraires $C_j$<\/span> et $C_k$<\/span> s’obtient en \u00e9galisant $\\delta_j(x) = \\delta_k(x)$<\/span>, ce qui d\u00e9finit un hyperplan lin\u00e9aire dans $\\mathbb{R}^p$<\/span>. Cette formulation bay\u00e9sienne d\u00e9montre rigoureusement pourquoi et comment le mod\u00e8le produit des fronti\u00e8res lin\u00e9aires optimales au sens de la minimisation de l’esp\u00e9rance de perte de classification sous l’empire des postulats gaussiens.<\/p>\n

2. Comparaison conceptuelle : LDA, ACP et r\u00e9gression logistique<\/h2>\n

2.1 Analyse comparative entre LDA et Analyse en Composantes Principales (ACP)<\/h3>\n

L’Analyse discriminante lin\u00e9aire et l’Analyse en composantes principales (ACP)<\/a> sont deux approches de transformation lin\u00e9aire d’espace fr\u00e9quemment juxtapos\u00e9es dans la litt\u00e9rature en science des donn\u00e9es. Bien qu’elles partagent des similitudes m\u00e9thodologiques \u00e9videntes \u2014 notamment l’usage de diagonalisations spectrales de matrices carr\u00e9es sym\u00e9triques pour extraire des axes factoriels orthogonaux \u2014, leurs objectifs math\u00e9matiques et leurs domaines d’application divergent profond\u00e9ment.<\/p>\n

L’ACP est une m\u00e9thode descriptive non supervis\u00e9e. Son postulat t\u00e9l\u00e9ologique consiste \u00e0 maximiser la variance globale de l’\u00e9chantillon projet\u00e9, sans pr\u00eater la moindre attention \u00e0 d’\u00e9ventuelles \u00e9tiquettes ou partitions pr\u00e9existantes. G\u00e9om\u00e9triquement, l’ACP cherche les axes d’allongement maximal du nuage de points global dans l’espace euclidien. Cette posture agnostique pr\u00e9sente un risque m\u00e9thodologique majeur lors d’une phase de mod\u00e9lisation pr\u00e9dictive : l’axe portant la variance globale la plus \u00e9lev\u00e9e ne co\u00efncide pas n\u00e9cessairement avec l’axe le long duquel les groupes se s\u00e9parent. Si la variabilit\u00e9 interne aux classes pr\u00e9domine sur la variabilit\u00e9 inter-classes (par exemple en pr\u00e9sence de facteurs de confusion ou de bruit exp\u00e9rimental massif), l’ACP retiendra ces variations ind\u00e9sirables en priorit\u00e9, conduisant in\u00e9vitablement \u00e0 un \u00e9crasement destructeur des fronti\u00e8res de classe sur les premi\u00e8res composantes principales.<\/p>\n

\u00c0 l’inverse, la LDA est une m\u00e9thode intrins\u00e8quement supervis\u00e9e. Guid\u00e9e par le crit\u00e8re de Fisher, elle calibre ses axes factoriels pr\u00e9cis\u00e9ment pour maximiser la s\u00e9parabilit\u00e9 inter-classes tout en \u00e9touffant la dispersion interne. L\u00e0 o\u00f9 l’ACP s’int\u00e9resse \u00e0 la variance totale, la LDA d\u00e9compose cette derni\u00e8re en deux entit\u00e9s sous-jacentes orthogonales afin d’isoler le signal discriminant. N\u00e9anmoins, ces deux techniques s’av\u00e8rent hautement compl\u00e9mentaires. Dans les contextes de tr\u00e8s haute dimension (le probl\u00e8me du \u00ab fl\u00e9au de la dimensionnalit\u00e9 \u00bb, typique des \u00e9tudes g\u00e9nomiques ou du traitement d’images o\u00f9 $p gg n$<\/span>), la matrice de dispersion intra-classe $S_W$<\/span> devient irr\u00e9m\u00e9diablement singuli\u00e8re et non inversible. Dans cette situation, un protocole s\u00e9quentiel classique, d\u00e9sign\u00e9 sous l’appellation ACP-LDA, consiste \u00e0 appliquer pr\u00e9alablement une ACP pour r\u00e9duire la dimension de l’espace \u00e0 une dimension inf\u00e9rieure \u00e0 $n$<\/span>, rendant ainsi $S_W$<\/span> strictement inversible et permettant \u00e0 la LDA de d\u00e9ployer sa puissance discriminante sans instabilit\u00e9 matricielle.<\/p>\n

2.2 LDA versus r\u00e9gression logistique multinominale<\/h3>\n

La distinction \u00e9pist\u00e9mologique entre l’analyse discriminante lin\u00e9aire et la r\u00e9gression logistique multinominale rel\u00e8ve de la dichotomie classique entre classifieurs g\u00e9n\u00e9ratifs et classifieurs discriminatifs. Bien que ces deux m\u00e9thodologies produisent des fronti\u00e8res de d\u00e9cision formellement identiques \u2014 \u00e0 savoir des hyperplans de d\u00e9cision affines \u2014, la trajectoire analytique par laquelle elles estiment ces param\u00e8tres diff\u00e8re radicalement.<\/p>\n

La LDA se positionne en classifieur g\u00e9n\u00e9ratif. Elle vise \u00e0 mod\u00e9liser la distribution de probabilit\u00e9 conjointe $P(X, Y) = P(X mid Y) P(Y)$<\/span> en imposant une structure distributionnelle param\u00e9trique gaussienne sur les pr\u00e9dicteurs conditionnellement \u00e0 chaque classe. Les param\u00e8tres $\\mu_k$<\/span> et $\\Sigma$<\/span> sont estim\u00e9s directement par la m\u00e9thode des moments ou par le maximum de vraisemblance conjointe. La r\u00e9gression logistique, quant \u00e0 elle, s’inscrit dans une d\u00e9marche strictement discriminative. Elle ne formule aucun postulat quant \u00e0 la distribution empirique des pr\u00e9dicteurs $X$<\/span> et mod\u00e9lise directement la probabilit\u00e9 conditionnelle a posteriori<\/em> $P(Y mid X)$<\/span> via une fonction logistique (ou softmax dans sa version multinominale), optimisant sa fonction de log-vraisemblance conditionnelle par descente de gradient ou algorithme de Newton-Raphson.<\/p>\n

Cette divergence architecturale dicte leur robustesse relative face aux caract\u00e9ristiques du jeu de donn\u00e9es :<\/p>\n