{"id":8067,"date":"2026-10-14T18:02:19","date_gmt":"2026-10-14T18:02:19","guid":{"rendered":"http:\/\/french.arabpsychology.com\/statistics\/regression-lasso-python-etape-par-etape\/"},"modified":"2026-10-14T18:02:19","modified_gmt":"2026-10-14T18:02:19","slug":"regression-lasso-python-etape-par-etape","status":"publish","type":"psych_stat","link":"https:\/\/french.arabpsychology.com\/?psych_stat=regression-lasso-python-etape-par-etape","title":{"rendered":"R\u00e9gression Lasso en Python (\u00e9tape par \u00e9tape)"},"content":{"rendered":"

Dans le champ de l’apprentissage statistique contemporain et de l’\u00e9conom\u00e9trie appliqu\u00e9e, la mod\u00e9lisation de ph\u00e9nom\u00e8nes complexes \u00e0 partir de donn\u00e9es de haute dimension constitue un d\u00e9fi m\u00e9thodologique majeur. Lorsque le nombre de variables explicatives potentielles cro\u00eet ou que ces derni\u00e8res pr\u00e9sentent de fortes interd\u00e9pendances structurelles, les approches d’estimation traditionnelles r\u00e9v\u00e8lent rapidement leurs limites intrins\u00e8ques. C’est pr\u00e9cis\u00e9ment pour surmonter l’instabilit\u00e9 num\u00e9rique et l’inflation de la variance propres aux mod\u00e8les lin\u00e9aires non contraints qu’a \u00e9t\u00e9 th\u00e9oris\u00e9e la r\u00e9gularisation statistique. Parmi ces techniques d’ajustement p\u00e9nalis\u00e9, la m\u00e9thode dite du Least Absolute Shrinkage and Selection Operator<\/em>, universellement d\u00e9sign\u00e9e sous l’acronyme Lasso, occupe une place pr\u00e9pond\u00e9rante tant sur le plan fondamental qu’op\u00e9rationnel.<\/p>\n

Introduite formellement par le statisticien Robert Tibshirani en 1996<\/a>, la r\u00e9gression Lasso propose une reformulation \u00e9l\u00e9gante du probl\u00e8me d’optimisation des moindres carr\u00e9s. En adjoignant une contrainte g\u00e9om\u00e9trique fond\u00e9e sur la norme L1 du vecteur des param\u00e8tres, cette m\u00e9thodologie ne se contente pas de restreindre l’amplitude globale des coefficients estim\u00e9s ; elle op\u00e8re simultan\u00e9ment une s\u00e9lection automatis\u00e9e des variables en contraignant certains coefficients \u00e0 devenir strictement nuls. Cette propri\u00e9t\u00e9 de parcimonie, ou sparsity<\/em>, conf\u00e8re au mod\u00e8le Lasso une double vertu analytique : il pr\u00e9serve la puissance pr\u00e9dictive face au risque de surapprentissage tout en fournissant une structure parcimonieuse hautement interpr\u00e9table pour le chercheur et le praticien de la science des donn\u00e9es.<\/p>\n

Le pr\u00e9sent article propose une exploration approfondie, rigoureuse et exhaustive de la r\u00e9gression Lasso, articulant d\u00e9veloppements th\u00e9oriques avanc\u00e9s et impl\u00e9mentation op\u00e9rationnelle au sein de l’\u00e9cosyst\u00e8me scientifique Python. De l’\u00e9lucidation de ses fondements math\u00e9matiques \u00e0 la d\u00e9composition fine des algorithmes d’optimisation par descente de coordonn\u00e9es, en passant par le pr\u00e9traitement syst\u00e9matique des matrices de conception et les arbitrages comparatifs face aux p\u00e9nalit\u00e9s concurrentes, ce guide s’adresse aux analystes exigeants d\u00e9sireux de ma\u00eetriser les m\u00e9canismes sous-jacents de la r\u00e9gularisation lin\u00e9aire et de d\u00e9ployer des protocoles pr\u00e9dictifs robustes, reproductibles et scientifiquement fond\u00e9s.<\/p>\n

1. Fondements th\u00e9oriques de la r\u00e9gression Lasso<\/h2>\n

Pour appr\u00e9hender la port\u00e9e conceptuelle de la r\u00e9gression Lasso, il convient d’examiner en premier lieu les vuln\u00e9rabilit\u00e9s structurelles inh\u00e9rentes au paradigme classique de l’estimation lin\u00e9aire, avant d’analyser la r\u00e9ponse math\u00e9matique apport\u00e9e par l’introduction d’une p\u00e9nalisation L1 et les m\u00e9canismes g\u00e9om\u00e9triques qui en d\u00e9coulent.<\/p>\n

1.1 Limites de la m\u00e9thode des moindres carr\u00e9s ordinaires<\/h3>\n

L’estimation par les moindres carr\u00e9s ordinaires (MCO) repose sur la minimisation de la somme des carr\u00e9s des r\u00e9sidus, souvent not\u00e9e RSS pour Residual Sum of Squares<\/em>. Sous les hypoth\u00e8ses classiques du th\u00e9or\u00e8me de Gauss-Markov, qui stipulent l’exog\u00e9n\u00e9it\u00e9 stricte des r\u00e9gresseurs, l’homosc\u00e9dasticit\u00e9 et l’absence d’autocorr\u00e9lation des erreurs, l’estimateur des MCO b\u00e9n\u00e9ficie de la propri\u00e9t\u00e9 d’\u00eatre le meilleur estimateur lin\u00e9aire non biais\u00e9 (BLUE). Cette formulation math\u00e9matique vise \u00e0 trouver le vecteur de param\u00e8tres qui minimise la distance euclidienne entre le vecteur des observations r\u00e9elles et le sous-espace vectoriel engendr\u00e9 par les colonnes de la matrice d’exp\u00e9rience.<\/p>\n

Toutefois, cette optimalit\u00e9 th\u00e9orique s’effondre d\u00e8s lors que la matrice de conception pr\u00e9sente une forte corr\u00e9lation interne entre ses pr\u00e9dicteurs, ph\u00e9nom\u00e8ne connu sous le nom de multicollin\u00e9arit\u00e9. Lorsque deux ou plusieurs variables explicatives sont quasi-lin\u00e9airement d\u00e9pendantes, la matrice transpos\u00e9e multipli\u00e9e par la matrice d’origine devient mal conditionn\u00e9e, son d\u00e9terminant approchant dangereusement de z\u00e9ro. Sur le plan matriciel, cela implique l’existence de valeurs propres extr\u00eamement proches de z\u00e9ro, rendant l’inversion num\u00e9rique particuli\u00e8rement instable face aux fluctuations stochastiques de l’\u00e9chantillon.<\/p>\n

Cette instabilit\u00e9 num\u00e9rique se traduit directement par une variance excessive des coefficients estim\u00e9s. Bien que les estimateurs demeurent formellement sans biais dans le cadre th\u00e9orique strict, leurs erreurs types explosent. Les coefficients calcul\u00e9s peuvent alors adopter des amplitudes d\u00e9mesur\u00e9es, alternant des signes positifs et n\u00e9gatifs contradictoires qui masquent totalement la structure causale sous-jacente du ph\u00e9nom\u00e8ne \u00e9tudi\u00e9. De surcro\u00eet, lorsque le nombre de variables pr\u00e9dictives exc\u00e8de le nombre d’observations, le syst\u00e8me lin\u00e9aire devient sous-d\u00e9termin\u00e9 et la matrice de Gram n’est plus inversible, interdisant toute r\u00e9solution univoque par la m\u00e9thode des moindres carr\u00e9s ordinaires.<\/p>\n

1.2 Formulation math\u00e9matique de la p\u00e9nalisation L1<\/h3>\n

Face aux \u00e9cueils de la variance non r\u00e9gul\u00e9e, la r\u00e9gression Lasso modifie la fonction de co\u00fbt initiale en lui superposant un terme de p\u00e9nalit\u00e9 p\u00e9nalisant l’amplitude globale du vecteur des param\u00e8tres. Contrairement aux approches par s\u00e9lection s\u00e9quentielle de sous-ensembles (telles que le forward<\/em> ou le backward stepwise<\/em>), qui reposent sur des arbitrages combinatoires discrets et intrins\u00e8quement instables, le Lasso int\u00e8gre cette contrainte de mani\u00e8re continue au sein m\u00eame du crit\u00e8re d’optimisation fonctionnelle.<\/p>\n

Math\u00e9matiquement, le probl\u00e8me d’optimisation du Lasso s’\u00e9nonce comme la minimisation conjointe de la somme quadratique des \u00e9carts entre les observations et les pr\u00e9dictions lin\u00e9aires, et d’un terme proportionnel \u00e0 la norme L1 du vecteur des coefficients, c’est-\u00e0-dire la somme des valeurs absolues de chaque coefficient individuel. Cette fonction objectif s’\u00e9crit formellement sous la forme :<\/p>\n

Minimiser par rapport \u00e0 beta : (1 \/ (2 * n)) * || y – X * beta ||^2 + lambda * || beta ||_1<\/p>\n

Dans cette formulation, y<\/em> d\u00e9signe le vecteur des r\u00e9ponses quantitatives de dimension n<\/em>, X<\/em> repr\u00e9sente la matrice de conception de dimensions n<\/em> par p<\/em>, et beta<\/em> symbolise le vecteur des coefficients de r\u00e9gression de dimension p<\/em>. Le scalaire lambda<\/em> (fr\u00e9quemment d\u00e9nomm\u00e9 alpha<\/em> dans les biblioth\u00e8ques d’apprentissage automatique comme Scikit-Learn<\/a>) joue le r\u00f4le structurel d’hyperparam\u00e8tre d’ajustement ou de r\u00e9gularisation. Ce param\u00e8tre gouverne l’\u00e9quilibre fondamental entre l’ad\u00e9quation empirique aux donn\u00e9es d’apprentissage et le degr\u00e9 de contraction impos\u00e9 aux coefficients.<\/p>\n

L’introduction du param\u00e8tre lambda<\/em> dans l’espace dual d’optimisation \u00e9quivaut \u00e0 r\u00e9soudre le probl\u00e8me des moindres carr\u00e9s sous une contrainte de type boule L1 de rayon d\u00e9fini. Lorsque lambda<\/em> est rigoureusement \u00e9gal \u00e0 z\u00e9ro, le terme p\u00e9nalisant s’annule et la solution converge imm\u00e9diatement vers celle des moindres carr\u00e9s classiques, pour autant que la matrice soit inversible. Inversement, lorsque lambda<\/em> tend vers l’infini, la force de rappel exerc\u00e9e par la p\u00e9nalit\u00e9 contraint l’int\u00e9gralit\u00e9 du vecteur de coefficients \u00e0 s’effondrer vers le vecteur nul, \u00e9liminant ainsi toute sensibilit\u00e9 de la pr\u00e9diction aux variations des variables explicatives.<\/p>\n

1.3 M\u00e9canisme de sparsit\u00e9 et s\u00e9lection automatique de variables<\/h3>\n

La propri\u00e9t\u00e9 la plus remarquable de la r\u00e9gression Lasso r\u00e9side dans sa capacit\u00e9 intrins\u00e8que \u00e0 g\u00e9n\u00e9rer des solutions creuses, souvent d\u00e9sign\u00e9es par le concept de sparsit\u00e9. Contrairement \u00e0 la r\u00e9gression Ridge, qui r\u00e9duit l’amplitude des coefficients de mani\u00e8re asymptotique sans jamais les annuler totalement, le Lasso contraint un sous-ensemble substantiel de coefficients \u00e0 atteindre rigoureusement la valeur z\u00e9ro d\u00e8s lors que le param\u00e8tre de r\u00e9gularisation est suffisamment \u00e9lev\u00e9.<\/p>\n

Cette singularit\u00e9 s’explique par la g\u00e9om\u00e9trie diff\u00e9rentielle sous-tendant les normes vectorielles dans l’espace des param\u00e8tres. En consid\u00e9rant le probl\u00e8me sous sa forme canonique contrainte de Karush-Kuhn-Tucker, l’espace admissible d\u00e9fini par la norme L1 se mat\u00e9rialise sous la forme d’un polytope convexe \u00e0 facettes anguleuses, tel qu’un losange en dimension deux ou un hyperocta\u00e8dre en dimension sup\u00e9rieure. En revanche, l’espace admissible de la norme quadratique L2 adopte le profil continu et r\u00e9gulier d’une hypersph\u00e8re lisse et indiff\u00e9renci\u00e9e.<\/p>\n

Lorsque les lignes de niveau ellipso\u00efdales de la fonction de co\u00fbt r\u00e9siduelle s’\u00e9tendent depuis l’optimum non contraint des moindres carr\u00e9s pour entrer en contact avec la r\u00e9gion de contrainte, le premier point de tangence g\u00e9om\u00e9trique a une probabilit\u00e9 asymptotique tr\u00e8s \u00e9lev\u00e9e de se produire sur l’un des sommets pointus ou sur l’une des ar\u00eates du polytope L1. Or, ces sommets singuliers correspondent pr\u00e9cis\u00e9ment aux configurations g\u00e9om\u00e9triques o\u00f9 une ou plusieurs coordonn\u00e9es scalaires s’annulent exactement. Cette non-d\u00e9rivabilit\u00e9 de la fonction valeur absolue \u00e0 l’origine conf\u00e8re ainsi au gradient un comportement discontinu qui force l’annulation explicite des coefficients dont la contribution statistique marginale ne compense pas le co\u00fbt p\u00e9nal impos\u00e9 par lambda<\/em>.<\/p>\n

Il en r\u00e9sulte une simplification automatis\u00e9e de l’architecture du mod\u00e8le. Face \u00e0 des jeux de donn\u00e9es denses comportant des centaines, voire des milliers de covariables candidates, le Lasso proc\u00e8de \u00e0 un \u00e9cr\u00e9mage continu, isolant spontan\u00e9ment le sous-ensemble minimal de pr\u00e9dicteurs porteurs de signal statistique v\u00e9ritable. Ce filtrage int\u00e9gr\u00e9 conf\u00e8re au mod\u00e8le final une interpr\u00e9tabilit\u00e9 consid\u00e9rable, affranchissant l’analyste de l’arbitraire des heuristiques de s\u00e9lection pas \u00e0 pas tout en neutralisant le bruit stochastique propag\u00e9 par les variables d\u00e9nu\u00e9es d’int\u00e9r\u00eat explicatif.<\/p>\n

2. Analyse compar\u00e9e : Lasso, Ridge et Elastic Net<\/h2>\n

Pour situer la r\u00e9gression Lasso dans le paysage de l’apprentissage statistique p\u00e9nalis\u00e9, il est n\u00e9cessaire d’\u00e9tablir une comparaison m\u00e9thodique avec ses principales alternatives : la r\u00e9gression Ridge et l’approche hybride Elastic Net. Chacune de ces m\u00e9thodes apporte une r\u00e9ponse sp\u00e9cifique \u00e0 l’arbitrage biais-variance \u00e0 travers la topologie de sa contrainte math\u00e9matique.<\/p>\n

2.1 Lasso versus Ridge : p\u00e9nalit\u00e9 L1 contre p\u00e9nalit\u00e9 L2<\/h3>\n

La distinction fondamentale entre le Lasso et la r\u00e9gression Ridge r\u00e9side dans la formulation analytique de leur terme de p\u00e9nalit\u00e9 de contraction. Tandis que le Lasso s’appuie sur la norme L1 pour sommer les valeurs absolues des param\u00e8tres, la r\u00e9gression Ridge, formul\u00e9e historiquement par Hoerl et Kennard en 1970, utilise la norme L2 au carr\u00e9, sommant les carr\u00e9s des coefficients de r\u00e9gression. Cette diff\u00e9rence apparemment modeste produit des comportements asymptotiques radicalement divergents.<\/p>\n

Sous la contrainte quadratique de la p\u00e9nalit\u00e9 Ridge, la r\u00e9duction impos\u00e9e aux coefficients est strictement proportionnelle \u00e0 leur magnitude initiale, un ph\u00e9nom\u00e8ne mod\u00e9lis\u00e9 par une transformation lin\u00e9aire continue des valeurs propres de la matrice de covariance. Les coefficients associ\u00e9s \u00e0 des variables redondantes ou peu informatives sont att\u00e9nu\u00e9s de mani\u00e8re uniforme, convergeant progressivement vers z\u00e9ro \u00e0 mesure que la p\u00e9nalit\u00e9 s’intensifie, sans toutefois jamais atteindre la nullit\u00e9 absolue. De ce fait, la r\u00e9gression Ridge pr\u00e9serve imp\u00e9rativement l’ensemble des pr\u00e9dicteurs dans l’\u00e9quation finale, ce qui maintient la dimensionnalit\u00e9 int\u00e9grale du probl\u00e8me et nuit \u00e0 l’interpr\u00e9tabilit\u00e9 lorsque le nombre initial de variables est consid\u00e9rable.<\/p>\n

Par ailleurs, la gestion des groupes de variables fortement corr\u00e9l\u00e9es met en lumi\u00e8re une fracture conceptuelle majeure entre les deux estimateurs. Face \u00e0 un bloc de covariables pr\u00e9sentant une forte collin\u00e9arit\u00e9 mutuelle, la r\u00e9gression Ridge tend \u00e0 distribuer \u00e9quitablement la charge pr\u00e9dictive entre tous les membres du groupe, leur attribuant des coefficients de magnitudes comparables et r\u00e9duites. \u00c0 l’oppos\u00e9, le Lasso manifeste un comportement discriminant et instable : il a tendance \u00e0 s\u00e9lectionner arbitrairement une seule variable parmi le groupe corr\u00e9l\u00e9, annulant brutalement les coefficients des pr\u00e9dicteurs colin\u00e9aires redondants sans consid\u00e9ration pour leur pertinence th\u00e9orique intrins\u00e8que.<\/p>\n

2.2 L’alternative hybride de la r\u00e9gression Elastic Net<\/h3>\n

Afin de pallier les faiblesses inh\u00e9rentes au Lasso dans des contextes corr\u00e9lationnels intenses, Zou et Hastie ont introduit en 2005 la r\u00e9gression Elastic Net<\/a>. Cette formulation hybride novatrice conjugue lin\u00e9airement les p\u00e9nalit\u00e9s de norme L1 et de norme L2 au sein d’une fonction de co\u00fbt unifi\u00e9e. Le crit\u00e8re d’optimisation int\u00e8gre ainsi deux composantes r\u00e9gulatrices distinctes, g\u00e9n\u00e9ralement param\u00e9tr\u00e9es par une intensit\u00e9 globale de r\u00e9gularisation et un ratio de m\u00e9lange souvent d\u00e9sign\u00e9 sous l’appellation l1_ratio<\/em>.<\/p>\n

L’\u00e9quation de perte de l’Elastic Net associe la somme des carr\u00e9s des r\u00e9sidus \u00e0 une combinaison convexe : un terme pond\u00e9r\u00e9 par la norme L1 responsable de la sparsit\u00e9 et de la s\u00e9lection de variables, et un second terme pond\u00e9r\u00e9 par la norme quadratique L2 assurant la r\u00e9gularit\u00e9 et la courbure de la surface d’optimisation. Cette g\u00e9om\u00e9trie convexe stricte conf\u00e8re \u00e0 l’Elastic Net une propri\u00e9t\u00e9 capitale d\u00e9nomm\u00e9e l’effet de groupe (grouping effect<\/em>). Sous cette formulation, des variables explicatives fortement colin\u00e9aires verront leurs coefficients converger conjointement, \u00e9tant conserv\u00e9es ou \u00e9limin\u00e9es de fa\u00e7on collective plut\u00f4t qu’individuellement fragment\u00e9e.<\/p>\n

Cette approche r\u00e9sout \u00e9galement une contrainte dimensionnelle critique du Lasso standard. En effet, sur le plan purement math\u00e9matique, lorsque le nombre de variables explicatives p<\/em> surpasse largement la taille de l’\u00e9chantillon n<\/em> (situation typique des \u00e9tudes g\u00e9nomiques ou textuelles), le Lasso ne peut math\u00e9matiquement s\u00e9lectionner au maximum que n<\/em> variables actives avant d’atteindre un \u00e9tat de saturation structurelle. L’Elastic Net s’affranchit totalement de cette borne rigide, permettant d’extraire des sous-ensembles de pr\u00e9dicteurs riches et denses dont la cardinalit\u00e9 d\u00e9passe l’effectif des observations disponibles.<\/p>\n

2.3 Crit\u00e8res de s\u00e9lection du mod\u00e8le adapt\u00e9 selon les donn\u00e9es<\/h3>\n

Le choix raisonn\u00e9 entre Lasso, Ridge et Elastic Net ne rel\u00e8ve pas d’une pr\u00e9f\u00e9rence dogmatique, mais d’une ad\u00e9quation rigoureuse entre la structure statistique des donn\u00e9es observ\u00e9es et les hypoth\u00e8ses fondamentales gouvernant chaque famille de p\u00e9nalisation. L’analyste doit en premier lieu \u00e9valuer le rapport empirique entre le nombre d’observations disponibles et le nombre total de variables candidates, ainsi que le degr\u00e9 de collin\u00e9arit\u00e9 estim\u00e9 au sein de la matrice de r\u00e9gression.<\/p>\n

L’arbitrage repose sur l’hypoth\u00e8se de parcimonie postul\u00e9e par le cadre d’investigation :<\/p>\n