{"id":5036,"date":"2026-10-14T18:01:21","date_gmt":"2026-10-14T18:01:21","guid":{"rendered":"http:\/\/french.arabpsychology.com\/statistics\/comment-gerer-avertissement-r-glm-fit-algorithme-non-converge\/"},"modified":"2026-10-14T18:01:21","modified_gmt":"2026-10-14T18:01:21","slug":"comment-gerer-avertissement-r-glm-fit-algorithme-non-converge","status":"publish","type":"psych_stat","link":"https:\/\/french.arabpsychology.com\/?psych_stat=comment-gerer-avertissement-r-glm-fit-algorithme-non-converge","title":{"rendered":"Comment g\u00e9rer l’avertissement R : glm.fit : l’algorithme n’a pas converg\u00e9"},"content":{"rendered":"

Dans le champ de la mod\u00e9lisation statistique contemporaine et de la science des donn\u00e9es appliqu\u00e9e, l’environnement logiciel R s’est impos\u00e9 comme une r\u00e9f\u00e9rence incontournable pour l’estimation de mod\u00e8les param\u00e9triques et non param\u00e9triques. Au c\u0153ur de cette bo\u00eete \u00e0 outils, la fonction glm()<\/code> constitue le pilier fondamental de l’estimation des mod\u00e8les lin\u00e9aires g\u00e9n\u00e9ralis\u00e9s (Generalized Linear Models<\/a>), formalis\u00e9s par John Nelder et Robert Wedderburn en 1972. Que ce soit en \u00e9pid\u00e9miologie clinique pour \u00e9valuer le risque relatif d’une pathologie, en \u00e9conom\u00e9trie pour quantifier la probabilit\u00e9 d’acc\u00e8s au cr\u00e9dit, ou en sciences sociales pour mod\u00e9liser des choix discrets, la r\u00e9gression logistique et ses extensions multivari\u00e9es sont mobilis\u00e9es quotidiennement par des milliers de chercheurs et de praticiens \u00e0 travers le monde.<\/p>\n

Cependant, la robustesse apparente de ces outils dissimule une d\u00e9pendance absolue envers des algorithmes d’optimisation num\u00e9rique it\u00e9ratifs dont la stabilit\u00e9 n’est jamais garantie a priori<\/em>. L’apparition soudaine du message d’avertissement \u00ab Warning: glm.fit: algorithm did not converge \u00bb<\/strong>, fr\u00e9quemment accompagn\u00e9e de la mention subsidiaire \u00ab fitted probabilities numerically 0 or 1 occurred \u00bb<\/strong>, repr\u00e9sente l’un des \u00e9cueils m\u00e9thodologiques les plus d\u00e9concertants pour les analystes. Loin d’\u00eatre un simple d\u00e9tail cosm\u00e9tique de programmation ou une anomalie computationnelle b\u00e9nigne, cette notification signale une rupture th\u00e9orique fondamentale dans le processus d’estimation par le maximum de vraisemblance. Elle indique que l’espace des param\u00e8tres n’a pu \u00eatre r\u00e9solu de mani\u00e8re satisfaisante, rendant caduques les d\u00e9ductions statistiques imm\u00e9diates.<\/p>\n

Face \u00e0 une telle alerte, l’attitude courante consistant \u00e0 ignorer l’avertissement sous pr\u00e9texte que le logiciel a tout de m\u00eame produit des coefficients rel\u00e8ve d’une n\u00e9gligence scientifique pr\u00e9judiciable. En effet, un mod\u00e8le lin\u00e9aire g\u00e9n\u00e9ralis\u00e9 qui ne converge pas d\u00e9livre des estimations ponctuelles d\u00e9mesur\u00e9es, des erreurs-types asymptotiques artificiellement explosives et des p-valeurs totalement trompeuses, alt\u00e9rant gravement la validit\u00e9 interne et la reproductibilit\u00e9 des recherches empiriques. L’objet de cet article est de diss\u00e9quer de mani\u00e8re exhaustive les fondements math\u00e9matiques, les causes structurelles et les solutions programmatiques et statistiques permettant de surmonter d\u00e9finitivement l’\u00e9chec de convergence de glm.fit<\/code> sous R.<\/p>\n

1. 1. Introduction th\u00e9orique \u00e0 l’avertissement glm.fit dans l’\u00e9cosyst\u00e8me R<\/h2>\n

1.1 1.1 D\u00e9finition formelle et contextualisation sous R<\/h3>\n

D’un point de vue computationnel, l’avertissement \u00ab glm.fit: algorithm did not converge \u00bb<\/strong> est d\u00e9clench\u00e9 au sein du moteur bas niveau glm.fit()<\/code>, qui est la routine de calcul interne appel\u00e9e par la fonction d’interface utilisateur glm()<\/code> du package natif stats<\/code>. Dans l’architecture logicielle de R, une distinction op\u00e9rationnelle stricte doit \u00eatre \u00e9tablie entre une erreur bloquante (error<\/em>) et un avertissement (warning<\/em>). Alors qu’une erreur interrompt imm\u00e9diatement le flux d’ex\u00e9cution et emp\u00eache la cr\u00e9ation de l’objet r\u00e9sultat, un avertissement permet \u00e0 l’interpr\u00e9teur de mener le calcul \u00e0 son terme tout en informant l’utilisateur qu’une anomalie s’est produite lors de la phase d’optimisation. Dans le cas pr\u00e9sent, R renvoie un objet de classe glm<\/code>, mais dont l’attribut logique interne converged<\/code> est formellement bascul\u00e9 sur la valeur FALSE<\/code>.<\/p>\n

Cette distinction technique cr\u00e9e une illusion dangereuse pour l’analyste inexp\u00e9riment\u00e9. Puisque les fonctions g\u00e9n\u00e9riques telles que summary()<\/code>, coef()<\/code> ou predict()<\/code> continuent d’op\u00e9rer sur cet objet retourn\u00e9, il est tentant de consid\u00e9rer le mod\u00e8le comme fonctionnel. En r\u00e9alit\u00e9, l’absence de convergence signifie que l’algorithme sous-jacent a \u00e9puis\u00e9 le nombre maximal d’it\u00e9rations allou\u00e9es sans que le crit\u00e8re de tol\u00e9rance num\u00e9rique pr\u00e9\u00e9tabli ne soit satisfait. Par cons\u00e9quent, les estimations fournies pour le vecteur de param\u00e8tres $\\beta$<\/span> ne correspondent pas au sommet de la surface de log-vraisemblance, mais refl\u00e8tent simplement l’\u00e9tat transitoire et arbitraire des coefficients lors de la derni\u00e8re it\u00e9ration ex\u00e9cut\u00e9e.<\/p>\n

L’impact imm\u00e9diat de cette interruption pr\u00e9matur\u00e9e se r\u00e9percute de mani\u00e8re d\u00e9vastatrice sur la matrice de variance-covariance des estimateurs. Les erreurs-types asymptotiques, calcul\u00e9es \u00e0 partir de l’inverse de la matrice hessienne observ\u00e9e, perdent toute pertinence math\u00e9matique. Dans la grande majorit\u00e9 des cas pratiques, cet avertissement se manifeste conjointement avec un second message d’alerte : \u00ab glm.fit: fitted probabilities numerically 0 or 1 occurred \u00bb<\/strong>. Cette concomitance r\u00e9v\u00e8le que l’algorithme a projet\u00e9 des probabilit\u00e9s pr\u00e9dites aux limites extr\u00eames de l’intervalle ouvert $]0, 1[$<\/span>, provoquant des ph\u00e9nom\u00e8nes d’arrondi num\u00e9rique o\u00f9 la machine assimile les valeurs \u00e0 $0$ ou $1$ strict. Ce comportement computationnel d\u00e9truit les propri\u00e9t\u00e9s asymptotiques classiques des estimateurs, abolit la normalit\u00e9 de leur distribution d’\u00e9chantillonnage et invalide la totalit\u00e9 des d\u00e9ductions probabilistes qui en d\u00e9coulent.<\/p>\n

1.2 1.2 Importance m\u00e9thodologique dans l’analyse de donn\u00e9es quantitatives<\/h3>\n

L’\u00e9chec de convergence rev\u00eat une acuit\u00e9 m\u00e9thodologique particuli\u00e8rement critique au sein de la famille des mod\u00e8les lin\u00e9aires g\u00e9n\u00e9ralis\u00e9s reposant sur des fonctions de lien non lin\u00e9aires, au premier rang desquelles figurent les mod\u00e8les logit et probit appliqu\u00e9s aux r\u00e9ponses binaires ou polytomiques. Contrairement au mod\u00e8le de r\u00e9gression lin\u00e9aire par les moindres carr\u00e9s ordinaires (OLS<\/a>), o\u00f9 il existe une solution analytique exacte sous forme close donn\u00e9e par les \u00e9quations normales, l’estimation des GLM exige une r\u00e9solution num\u00e9rique par approximations successives. Lorsque l’algorithme \u00e9choue \u00e0 converger, c’est l’ensemble de l’\u00e9difice inf\u00e9rentiel n\u00e9o-fisherien qui s’effondre.<\/p>\n

Le risque principal r\u00e9side dans la distorsion spectaculaire des tests d’hypoth\u00e8ses, singuli\u00e8rement le test de Wald. Dans une situation de non-convergence induite par l’\u00e9loignement d’un coefficient vers des valeurs extr\u00eames, l’erreur-type estim\u00e9e cro\u00eet \u00e0 une vitesse exponentielle, surpassant de plusieurs ordres de grandeur la valeur du coefficient lui-m\u00eame. Il en r\u00e9sulte un ph\u00e9nom\u00e8ne pervers bien connu sous le nom d’effet Hauck-Donner : la statistique de Wald, d\u00e9finie par le ratio $W = \\hat{\\beta} \/ \\text{SE}(\\hat{\\beta})$<\/span>, tend asymptotiquement vers z\u00e9ro \u00e0 mesure que la force de l’association r\u00e9elle cro\u00eet vers l’infini. L’analyste se trouve alors confront\u00e9 \u00e0 une situation aberrante o\u00f9 une variable pr\u00e9dictive dot\u00e9e d’un pouvoir explicatif absolu se voit attribuer une p-valeur proche de $1{,}0$<\/span>, conduisant \u00e0 conclure faussement \u00e0 l’absence d’effet statistique.<\/p>\n

Au-del\u00e0 des tests d’hypoth\u00e8ses, la signification substantielle des m\u00e9triques issues du mod\u00e8le se trouve annihil\u00e9e. Dans le cadre d’une r\u00e9gression logistique, les coefficients repr\u00e9sentent le logarithme des rapports de cotes (odds ratios<\/em>). Des param\u00e8tres non converg\u00e9s oscillant arbitrairement entre $15$ et $30$ se traduisent, apr\u00e8s exponentiation, par des odds ratios<\/em> s’\u00e9chelonnant de plusieurs centaines de milliers \u00e0 plusieurs dizaines de milliards. Ces grandeurs num\u00e9riques n’ont aucun ancrage empirique plausible et t\u00e9moignent uniquement d’une instabilit\u00e9 algorithmique sous-jacente. Pour les publications scientifiques soumises \u00e0 \u00e9valuation par les pairs, la pr\u00e9sence de tels artefacts dans les tableaux r\u00e9capitulatifs constitue une preuve manifeste de d\u00e9faillance m\u00e9thodologique, susceptible d’entra\u00eener le rejet imm\u00e9diat du manuscrit ou des r\u00e9tractations ult\u00e9rieures en cas d’audit des donn\u00e9es de recherche.<\/p>\n

2. 2. M\u00e9canique algorithmique et fondements math\u00e9matiques de l’\u00e9chec de convergence<\/h2>\n

2.1 2.1 L’algorithme des moindres carr\u00e9s it\u00e9rativement repond\u00e9r\u00e9s (IRLS)<\/h3>\n

Pour comprendre les racines intimes du d\u00e9faut de convergence, il est indispensable de diss\u00e9quer le fonctionnement math\u00e9matique du moteur de r\u00e9solution par d\u00e9faut de la fonction glm()<\/code> : l’algorithme des moindres carr\u00e9s it\u00e9rativement repond\u00e9r\u00e9s, couramment d\u00e9sign\u00e9 par l’acronyme anglophone IRLS<\/a> (Iteratively Reweighted Least Squares<\/em>). Dans le cadre unificateur des mod\u00e8les lin\u00e9aires g\u00e9n\u00e9ralis\u00e9s, cet algorithme \u00e9quivaut rigoureusement \u00e0 la m\u00e9thode de scoring de Fisher, une variante de l’optimisation de Newton-Raphson o\u00f9 la matrice hessienne observ\u00e9e est remplac\u00e9e par son esp\u00e9rance math\u00e9matique, \u00e0 savoir la matrice d’information de Fisher.<\/p>\n

Soit un vecteur de r\u00e9ponses $Y = (y_1, dots, y_n)^T$<\/span> et une matrice de conception $X$<\/span> de dimensions $n \\times p$<\/span>. La relation entre l’esp\u00e9rance conditionnelle $\\mu_i = \\mathbb{E}(Y_i|X_i)$<\/span> et le pr\u00e9dicteur lin\u00e9aire $\\eta_i = X_i \\beta$<\/span> est m\u00e9di\u00e9e par la fonction de lien $g(\\cdot)$<\/span> telle que $\\eta_i = g(\\mu_i)$<\/span>. \u00c0 chaque it\u00e9ration not\u00e9e $t$<\/span>, l’algorithme proc\u00e8de \u00e0 une lin\u00e9arisation locale de Taylor autour de l’estimation courante $\\beta^{(t)}$<\/span>, g\u00e9n\u00e9rant une variable d\u00e9pendante ajust\u00e9e $z^{(t)}$<\/span> dont les composantes sont d\u00e9finies par :<\/p>\n

$$z_i^{(t)} = \\eta_i^{(t)} + (y_i – \\mu_i^{(t)}) \\left( \\frac{\\partial \\eta_i}{\\partial \\mu_i} \\right)^{(t)}$$<\/span><\/p>\n

Simultan\u00e9ment, une matrice diagonale de poids $W^{(t)}$<\/span> est recalcul\u00e9e \u00e0 chaque \u00e9tape. Pour la famille binomiale munie du lien canonique logit, la variance de la variable al\u00e9atoire s’exprime sous la forme $V(\\mu_i) = \\mu_i(1 – \\mu_i)$<\/span>, et la d\u00e9riv\u00e9e de la fonction de lien vaut $\\frac{\\partial \\eta_i}{\\partial \\mu_i} = \\frac{1}{\\mu_i(1 – \\mu_i)}$<\/span>. Les \u00e9l\u00e9ments diagonaux de la matrice de repond\u00e9ration prennent alors la forme \u00e9l\u00e9gante et fondamentale :<\/p>\n

$$w_{ii}^{(t)} = \\left[ \\left( \\frac{\\partial \\eta_i}{\\partial \\mu_i} \\right)^2 V(\\mu_i) \\right]^{-1} = \\mu_i^{(t)} (1 – \\mu_i^{(t)}) = p_i^{(t)} (1 – p_i^{(t)})$$<\/span><\/p>\n

L’actualisation du vecteur des param\u00e8tres s’op\u00e8re ensuite en r\u00e9solvant un probl\u00e8me classique de moindres carr\u00e9s pond\u00e9r\u00e9s, formalis\u00e9 par le syst\u00e8me matriciel :<\/p>\n

$$\\beta^{(t+1)} = (X^T W^{(t)} X)^{-1} X^T W^{(t)} z^{(t)}$$<\/span><\/p>\n

L’algorithme \u00e9value \u00e0 chaque pas un crit\u00e8re d’arr\u00eat math\u00e9matique d\u00e9fini dans R par la tol\u00e9rance relative de la d\u00e9viance r\u00e9siduelle. Si $D^{(t)}$<\/span> repr\u00e9sente la d\u00e9viance \u00e0 l’it\u00e9ration $t$<\/span>, la condition de convergence s’\u00e9crit g\u00e9n\u00e9ralement :<\/p>\n

$$\\frac{|D^{(t)} – D^{(t-1)}|}{|D^{(t)}| + 0{,}1} < \\epsilon$$<\/span><\/p>\n

o\u00f9 la constante $epsilon$<\/span> (param\u00e8tre epsilon<\/code> dans glm.control<\/code>) est fix\u00e9e par d\u00e9faut \u00e0 $10^{-8}$<\/span>. L’effondrement num\u00e9rique survient pr\u00e9cis\u00e9ment au niveau de la matrice $W^{(t)}$<\/span>. Lorsque les probabilit\u00e9s pr\u00e9dites $p_i^{(t)}$<\/span> se rapprochent asymptotiquement des bornes $0$ ou $1$, le produit $p_i^{(t)}(1 – p_i^{(t)})$<\/span> d\u00e9cro\u00eet vers z\u00e9ro. Cette dynamique conduit \u00e0 des poids $w_{ii}$<\/span> quasi nuls. Il en r\u00e9sulte une division par des grandeurs infinit\u00e9simales dans la d\u00e9termination des variables ajust\u00e9es $z_i^{(t)}$<\/span>, engendrant une instabilit\u00e9 arithm\u00e9tique majeure qui emp\u00eache la d\u00e9viance de satisfaire le seuil de tol\u00e9rance relative dans le nombre d’it\u00e9rations imparti.<\/p>\n

2.2 2.2 Effondrement de la fonction de vraisemblance<\/h3>\n

D’un point de vue g\u00e9om\u00e9trique et analytique, l’\u00e9chec de convergence illustre une pathologie structurelle affectant la surface de la fonction de log-vraisemblance, not\u00e9e $ell(\\beta)$<\/span>. Pour les mod\u00e8les de la famille exponentielle dot\u00e9s de liens canoniques, $ell(\\beta)$<\/span> est une fonction strictement concave par rapport aux param\u00e8tres $\\beta$<\/span>. En r\u00e9gime r\u00e9gulier, cette concavit\u00e9 garantit l’existence et l’unicit\u00e9 d’un extremum global o\u00f9 le vecteur gradient s’annule rigoureusement :<\/p>\n

$$\\nabla ell(\\beta) = X^T (Y – \\mu) = 0$$<\/span><\/p>\n

Cependant, sous certaines configurations distributionnelles des donn\u00e9es empiriques, la surface de log-vraisemblance perd son point d’inflexion stationnaire \u00e0 distance finie. Bien que la fonction demeure strictement concave, elle devient asymptotiquement monotone et croissante dans une ou plusieurs directions de l’espace vectoriel $\\mathbb{R}^p$<\/span>. Le supremum de la fonction n’est alors plus atteint pour une valeur finie du vecteur $\\beta$<\/span>, mais r\u00e9side formellement sur la fronti\u00e8re infinie du domaine des param\u00e8tres, c’est-\u00e0-dire lorsque $|beta| to \\infty$<\/span>.<\/p>\n

Au cours des it\u00e9rations successives de l’algorithme IRLS, les composantes de $\\beta$<\/span> associ\u00e9es \u00e0 cette direction de fuite progressent ind\u00e9finiment vers $+\\infty$<\/span> ou $-\\infty$<\/span>. \u00c0 mesure que cette divergence progresse, le gradient de la log-vraisemblance $\\nabla ell(\\beta)$<\/span> tend vers z\u00e9ro, cr\u00e9ant un aplatissement extr\u00eame du relief math\u00e9matique. L’algorithme se d\u00e9place alors sur un plateau quasi horizontal. Dans cette r\u00e9gion pathologique, les incr\u00e9ments de d\u00e9viance entre deux it\u00e9rations cons\u00e9cutives deviennent infimes, mais la vitesse de variation ne d\u00e9cro\u00eet pas suffisamment vite pour satisfaire simultan\u00e9ment le crit\u00e8re de convergence et le maintien de conditions matricielles stables avant d’atteindre le plafond d’it\u00e9rations par d\u00e9faut (fix\u00e9 \u00e0 25 sous R).<\/p>\n

Sur le plan de l’alg\u00e8bre lin\u00e9aire, cette fuite param\u00e9trique d\u00e9truit le conditionnement de la matrice d’information observ\u00e9e, qui constitue l’oppos\u00e9 de la matrice hessienne :<\/p>\n

$$H = \\frac{\\partial^2 ell(\\beta)}{\\partial \\beta , \\partial \\beta^T} = -X^T W X$$<\/span><\/p>\n

Comme les \u00e9l\u00e9ments diagonaux de $W$<\/span> s’annulent pour les observations parfaitement s\u00e9par\u00e9es, les lignes et colonnes correspondantes de la matrice de produit crois\u00e9 $X^T W X$<\/span> tendent vers une d\u00e9pendance lin\u00e9aire computationnelle. La matrice devient quasi singuli\u00e8re, son nombre de conditionnement explose vers l’infini, et son inversion num\u00e9rique via la d\u00e9composition QR ou la factorisation de Cholesky engendre des erreurs d’arrondi catastrophiques dans l’arithm\u00e9tique \u00e0 virgule flottante double pr\u00e9cision conforme \u00e0 la norme IEEE 754. L’algorithme est pris au pi\u00e8ge entre une singularit\u00e9 matricielle imminente et une d\u00e9rive divergente de ses param\u00e8tres.<\/p>\n

3. 3. \u00c9tiologie principale : La s\u00e9paration compl\u00e8te et quasi-compl\u00e8te<\/h2>\n

3.1 3.1 Typologie de la s\u00e9paration selon Albert et Anderson<\/h3>\n

La cause \u00e9tiologique pr\u00e9pond\u00e9rante, responsable de plus de 90 % des occurrences du message glm.fit: algorithm did not converge<\/code> dans les r\u00e9gressions logistiques, r\u00e9side dans le ph\u00e9nom\u00e8ne math\u00e9matique de s\u00e9paration des donn\u00e9es. Cette probl\u00e9matique a \u00e9t\u00e9 rigoureusement th\u00e9oris\u00e9e et classifi\u00e9e par Adeline Albert et J. A. Anderson dans leur article s\u00e9minal publi\u00e9 en 1984 au sein de la revue Biometrika<\/em>. Les auteurs ont d\u00e9montr\u00e9 que l’espace configurationnel des observations binaires se subdivise en trois r\u00e9gimes mutuellement exclusifs : le chevauchement (overlap<\/em>), la s\u00e9paration compl\u00e8te (complete separation<\/em>) et la quasi-s\u00e9paration (quasi-complete separation<\/em>).<\/p>\n

Le r\u00e9gime d’absence de s\u00e9paration ou de chevauchement<\/strong> constitue l’hypoth\u00e8se fondamentale sous-tendant la th\u00e9orie classique du maximum de vraisemblance. Dans ce cas, les nuages de points correspondant aux deux modalit\u00e9s de la variable r\u00e9ponse ($y_i = 0$<\/span> et $y_i = 1$<\/span>) sont intimement entrem\u00eal\u00e9s dans l’espace multidimensionnel des pr\u00e9dicteurs $\\mathbb{R}^p$<\/span>. Math\u00e9matiquement, il n’existe aucun hyperplan capable de scinder parfaitement les deux classes. Sous cette condition, et sous r\u00e9serve de l’ind\u00e9pendance lin\u00e9aire des colonnes de $X$<\/span>, l’estimateur du maximum de vraisemblance (EMV) existe, est unique, et se situe \u00e0 une distance finie de l’origine.<\/p>\n

La s\u00e9paration compl\u00e8te<\/strong> survient lorsqu’il existe un vecteur de coefficients $\\beta in \\mathbb{R}^p$<\/span> tel que l’hyperplan s\u00e9parateur scinde int\u00e9gralement l’\u00e9chantillon sans la moindre erreur de classement. Formellement, cette configuration s’exprime par les in\u00e9galit\u00e9s strictes :<\/p>\n

$$\\begin{\\cases} X_i \\beta > 0 & \\text{pour tout } i \\text{ tel que } y_i = 1 \\ X_i \\beta < 0 & \\text{pour tout } i \\text{ tel que } y_i = 0 \\end{\\cases}$$<\/span><\/p>\n

Dans cette conjoncture, multiplier le vecteur $\\beta$<\/span> par un scalaire arbitrairement grand $k to \\infty$<\/span> a pour cons\u00e9quence math\u00e9matique directe de pousser la probabilit\u00e9 pr\u00e9dite $P(Y_i = 1|X_i) = \\frac{1}{1 + e^{-X_i (k\\beta)}}$<\/span> vers exactement $1$ lorsque $y_i = 1$<\/span>, et vers $0$ lorsque $y_i = 0$<\/span>. La log-vraisemblance tend alors de mani\u00e8re asymptotique vers sa valeur maximale th\u00e9orique absolue, \u00e0 savoir z\u00e9ro. Puisque la valeur z\u00e9ro n’est atteinte qu’\u00e0 l’infini, l’estimateur du maximum de vraisemblance n’existe pas dans l’espace euclidien conventionnel<\/em>.<\/p>\n

La quasi-s\u00e9paration<\/strong> (ou s\u00e9paration quasi-compl\u00e8te) repr\u00e9sente une variante tout aussi pernicieuse, extr\u00eamement fr\u00e9quente dans les bases de donn\u00e9es r\u00e9elles. Elle se caract\u00e9rise par l’existence d’un hyperplan s\u00e9parateur pour lequel la s\u00e9paration est parfaite \u00e0 l’exception d’un sous-ensemble non vide d’observations pour lesquelles le pr\u00e9dicteur lin\u00e9aire est strictement nul. Formellement :<\/p>\n

$$\\begin{\\cases} X_i \\beta ge 0 & \\text{pour tout } i \\text{ tel que } y_i = 1 \\ X_i \\beta le 0 & \\text{pour tout } i \\text{ tel que } y_i = 0 \\end{\\cases}$$<\/span><\/p>\n

avec \u00e9galit\u00e9 stricte ($X_i \\beta = 0$<\/span>) pour au moins un individu de chaque classe. Bien que certains sujets se trouvent exactement sur la fronti\u00e8re de d\u00e9cision, aucun individu appartenant \u00e0 la classe $1$ ne p\u00e9n\u00e8tre dans le demi-espace strict de la classe $0$, et r\u00e9ciproquement. Comme dans la s\u00e9paration compl\u00e8te, les coefficients associ\u00e9s aux dimensions orthogonales \u00e0 cette fronti\u00e8re divergent vers l’infini, interdisant toute convergence de l’algorithme standard.<\/p>\n

3.2 3.2 Reproduction empirique et dissection d’un cas d’\u00e9cole<\/h3>\n

Pour appr\u00e9hender concr\u00e8tement les manifestations de cette pathologie au sein d’une session R, consid\u00e9rons la construction contr\u00f4l\u00e9e d’un micro-jeu de donn\u00e9es univari\u00e9 illustrant une s\u00e9paration binaire parfaite. Dans cette exp\u00e9rience num\u00e9rique, la variable explicative continue $x$<\/span> pr\u00e9dit sans \u00e9quivoque la r\u00e9ponse binaire $y$<\/span> selon un seuil de coupure net situ\u00e9 entre $3$ et $4$ :<\/p>\n

Dans ce sc\u00e9nario, pour toute valeur de $x le 3$<\/span>, la r\u00e9ponse observ\u00e9e est invariablement $y = 0$<\/span>, tandis que pour toute valeur de $x ge 4$<\/span>, la r\u00e9ponse bascule syst\u00e9matiquement \u00e0 $y = 1$<\/span>. Lorsque l’on ajuste ce mod\u00e8le \u00e0 l’aide de l’instruction standard glm(y ~ x, family = binomial(link = \"logit\"))<\/code>, la console R d\u00e9clenche imm\u00e9diatement la double alerte textuelle document\u00e9e pr\u00e9c\u00e9demment.<\/p>\n

L’inspection minutieuse de l’objet produit \u00e0 l’aide de l’appel summary()<\/code> r\u00e9v\u00e8le l’ampleur du dysfonctionnement. Le coefficient estim\u00e9 pour la pente $\\beta_1$<\/span> se stabilise \u00e0 une valeur arbitraire \u00e9norme (par exemple $\\hat{\\beta}_1 \\approx 19{,}5$<\/span> ou $35{,}2$<\/span>, d\u00e9pendant strictement de la valeur du param\u00e8tre maxit<\/code>), accompagn\u00e9e d’un terme constant $\\hat{\\beta}_0$<\/span> sym\u00e9triquement oppos\u00e9. Cependant, l’\u00e9l\u00e9ment le plus r\u00e9v\u00e9lateur r\u00e9side dans l’erreur-type asymptotique associ\u00e9e \u00e0 cette variable, qui atteint des amplitudes vertigineuses, fr\u00e9quemment sup\u00e9rieures \u00e0 $15,000$ ou $30,000$.<\/p>\n

Cette inflation spectaculaire de l’erreur-type constitue le sympt\u00f4me pathognomonique de la quasi-singularit\u00e9 matricielle. Lors du calcul final $(X^T W X)^{-1}$<\/span>, les termes diagonaux de variance s’envolent vers des grandeurs d\u00e9mesur\u00e9es. Lorsque l’on examine le rapport de Wald $\\hat{\\beta} \/ \\text{SE}(\\hat{\\beta})$<\/span>, on obtient une valeur proche de z\u00e9ro (par exemple $25 \/ 20000 = 0{,}00125$<\/span>), laquelle engendre automatiquement une p-valeur bilat\u00e9rale de $0{,}999$<\/span>. L’analyste non averti conclurait que le pr\u00e9dicteur $x$<\/span> n’exerce aucune influence statistiquement d\u00e9celable sur la variable r\u00e9ponse, alors m\u00eame qu’il s’agit d’un pr\u00e9dicteur parfait capable de s\u00e9gr\u00e9guer les deux \u00e9tats avec une pr\u00e9cision d\u00e9terministe de 100 %. Cet effondrement complet du test d’hypoth\u00e8se classique illustre avec force la toxicit\u00e9 m\u00e9thodologique de l’avertissement de non-convergence non r\u00e9solu.<\/p>\n

4. 4. Diagnostics approfondis pour d\u00e9tecter la non-convergence<\/h2>\n

4.1 4.1 Inspection analytique des sorties du mod\u00e8le<\/h3>\n

La mise en \u0153uvre d’un protocole de diagnostic rigoureux face \u00e0 un avertissement de glm.fit<\/code> impose de ne jamais se contenter de l’affichage textuel par d\u00e9faut de R, mais d’interroger directement les structures de donn\u00e9es sous-jacentes retourn\u00e9es dans la liste S3 de l’objet mod\u00e8le. Plusieurs indicateurs quantitatifs fournissent des alertes formelles sur la gravit\u00e9 de la non-convergence.<\/p>\n

Le premier \u00e9l\u00e9ment \u00e0 examiner est le statut logique des indicateurs internes. L’\u00e9valuation de modele$converged<\/code> renvoie un bool\u00e9en : s’il affiche FALSE<\/code>, la proc\u00e9dure it\u00e9rative a \u00e9t\u00e9 formellement invalid\u00e9e par le compilateur interne. Conjointement, l’indicateur modele$boundary<\/code> renvoie la valeur TRUE<\/code> si les probabilit\u00e9s ajust\u00e9es ont heurt\u00e9 les bornes num\u00e9riques de l’espace de d\u00e9finition, signalant un risque aigu d’estimations aberrantes. L’observation de la composante modele$iter<\/code> permet quant \u00e0 elle de constater que l’algorithme a atteint le seuil maximal (souvent la valeur 25 par d\u00e9faut), confirmant l’\u00e9puisement des cycles sans satisfaction de la tol\u00e9rance.<\/p>\n

Le deuxi\u00e8me crit\u00e8re diagnostique repose sur l’analyse de la d\u00e9viance r\u00e9siduelle (deviance<\/code>) en comparaison de ses degr\u00e9s de libert\u00e9 r\u00e9siduels (df.residual<\/code>). Dans un mod\u00e8le binomial correctement converg\u00e9 et bien calibr\u00e9, le ratio d\u00e9viance \/ degr\u00e9s de libert\u00e9 oscille g\u00e9n\u00e9ralement autour de $1$ (bien que cette r\u00e8gle empirique soit moins stricte pour les donn\u00e9es binaires individuelles non group\u00e9es). Cependant, en pr\u00e9sence de s\u00e9paration compl\u00e8te, la d\u00e9viance r\u00e9siduelle s’effondre vers des valeurs microscopiques (de l’ordre de $10^{-8}$<\/span> \u00e0 $10^{-12}$<\/span>), trahissant un surajustement pathologique o\u00f9 la fonction de vraisemblance atteint sa borne id\u00e9ale asymptotique.<\/p>\n

Le troisi\u00e8me vecteur de contr\u00f4le consiste \u00e0 scruter l’amplitude absolue des coefficients estim\u00e9s ($|\\hat{\\beta}_j|$<\/span>). Dans l’\u00e9chelle logit, un coefficient de $10$ correspond \u00e0 un odds ratio<\/em> de $\\exp(10) \\approx 22,026$<\/span>, et un coefficient de $20$ implique un rapport de cotes exc\u00e9dant $485$ millions. De tels ordres de grandeur sont pratiquement impossibles dans la quasi-totalit\u00e9 des ph\u00e9nom\u00e8nes biologiques, \u00e9conomiques ou sociologiques r\u00e9els. Tout coefficient dont la valeur absolue d\u00e9passe le seuil critique de $8$ ou $10$ sur des pr\u00e9dicteurs standardis\u00e9s doit imm\u00e9diatement \u00eatre interpr\u00e9t\u00e9, jusqu’\u00e0 preuve du contraire, comme un artefact direct de s\u00e9paration num\u00e9rique plut\u00f4t que comme un effet substantiel l\u00e9gitime.<\/p>\n

4.2 4.2 Analyse exploratoire crois\u00e9e des pr\u00e9dicteurs<\/h3>\n

Une fois le diagnostic de non-convergence confirm\u00e9 au niveau des sorties globales du mod\u00e8le, l’\u00e9tape subs\u00e9quente consiste \u00e0 isoler avec exactitude les variables pr\u00e9dictives responsables de cette instabilit\u00e9. Pour les r\u00e9gresseurs qualitatifs ou factoriels, la m\u00e9thode de d\u00e9tection princeps r\u00e9side dans la confection syst\u00e9matique de tables de contingence bidirectionnelles croisant chaque covariable cat\u00e9gorielle avec la variable de r\u00e9ponse binaire $Y$<\/span>.<\/p>\n

Cette tabulation crois\u00e9e permet de traquer ce que la litt\u00e9rature statistique nomme le probl\u00e8me de cellule vide<\/strong> ou zero-cell count<\/em>. Si, pour un niveau donn\u00e9 d’un facteur explicatif, la distribution de la variable r\u00e9ponse est purement unilat\u00e9rale (par exemple, 15 individus pr\u00e9sentent la caract\u00e9ristique $A$<\/span> et tous poss\u00e8dent $y = 1$<\/span>, sans aucun cas o\u00f9 $y = 0$<\/span>), une quasi-s\u00e9paration est instantan\u00e9ment mat\u00e9rialis\u00e9e. Le mod\u00e8le se trouve dans l’incapacit\u00e9 computationnelle d’estimer la cote de r\u00e9f\u00e9rence pour cette cat\u00e9gorie particuli\u00e8re, puisque le calcul n\u00e9cessiterait th\u00e9oriquement une division par z\u00e9ro :<\/p>\n

$$\\text{Odds} = \\frac{P(Y=1|A)}{P(Y=0|A)} = \\frac{15\/15}{0\/15} = \\frac{1}{0} to \\infty$$<\/span><\/p>\n

Pour les variables quantitatives continues, la d\u00e9tection exige des outils exploratoires diff\u00e9rents. L’approche graphique par diagrammes de dispersion univari\u00e9s et bo\u00eetes \u00e0 moustaches conditionnelles (boxplots<\/em>) permet de visualiser s’il existe une fronti\u00e8re de s\u00e9gr\u00e9gation parfaite sans recouvrement entre les distributions conditionnelles de $X$<\/span> sachant $Y = 0$<\/span> et $X$<\/span> sachant $Y = 1$<\/span>. D\u00e8s lors que le maximum de $X|_{Y=0}$<\/span> est strictement inf\u00e9rieur au minimum de $X|_{Y=1}$<\/span>, la s\u00e9paration compl\u00e8te univari\u00e9e est \u00e9tablie.<\/p>\n

Dans les configurations multivari\u00e9es complexes, la s\u00e9paration peut \u00eatre invisible sur les analyses univari\u00e9es et r\u00e9sulter d’une combinaison lin\u00e9aire de plusieurs r\u00e9gresseurs continus et cat\u00e9goriels formant un hyperplan oblique dans un espace de dimension sup\u00e9rieure. Pour identifier formellement ces structures sans t\u00e2tonnement heuristique, la communaut\u00e9 R a d\u00e9velopp\u00e9 des packages sp\u00e9cialis\u00e9s hautement performants. Le package safeBinaryRegression<\/code> impl\u00e9mente un algorithme de programmation lin\u00e9aire capable de tester rigoureusement l’existence de l’EMV avant m\u00eame le lancement de l’estimation. De mani\u00e8re encore plus contemporaine, le package detectseparation<\/code><\/a>, con\u00e7u par Ioannis Kosmidis et Dirk Schumacher, s’int\u00e8gre harmonieusement comme m\u00e9thode de contr\u00f4le dans glm()<\/code> via le param\u00e8tre method = \"detect_separation\"<\/code>. Il identifie avec une pr\u00e9cision math\u00e9matique absolue quelles variables sp\u00e9cifiques plongent le mod\u00e8le dans la s\u00e9paration, en exploitant des solveurs de programmation lin\u00e9aire de pointe tels que ROI ou GLPK.<\/p>\n

5. 5. Causes secondaires : Taille d’\u00e9chantillon, colin\u00e9arit\u00e9 et surparam\u00e9trisation<\/h2>\n

5.1 5.1 Rapport \u00e9v\u00e9nements par variable (EPV) d\u00e9ficitaire<\/h3>\n

Si la s\u00e9paration constitue le facteur d\u00e9clenchant m\u00e9canique direct de l’avertissement, son \u00e9mergence est intrins\u00e8quement li\u00e9e \u00e0 la structure globale du jeu de donn\u00e9es et au respect des r\u00e8gles de dimensionnement statistique. Le ratio des \u00e9v\u00e9nements par variable<\/strong> (couramment d\u00e9sign\u00e9 par le sigle EPV<\/a> pour Events Per Variable<\/em>) constitue la m\u00e9trique r\u00e9gulatrice fondamentale dans l’analyse de r\u00e9gression logistique.<\/p>\n

Les travaux m\u00e9thodologiques pionniers de Peter Peduzzi et ses collaborateurs (1996), ult\u00e9rieurement r\u00e9\u00e9valu\u00e9s et nuanc\u00e9s par Eric Vittinghoff et Charles E. McCulloch (2007), ont formellement \u00e9tabli qu’un minimum de 10 \u00e0 15 \u00e9v\u00e9nements par param\u00e8tre estim\u00e9 est strictement requis pour maintenir la stabilit\u00e9 de l’estimateur du maximum de vraisemblance. Dans une r\u00e9gression logistique binaire, la taille effective de l’\u00e9chantillon n’est pas d\u00e9termin\u00e9e par le nombre total d’observations $N$<\/span>, mais par la taille de la classe minoritaire :<\/p>\n

$$N_{\\text{eff}} = \\min\\left( \\sum_{i=1}^n y_i, , \\sum_{i=1}^n (1 – y_i) \\right)$$<\/span><\/p>\n

L’EPV est alors calcul\u00e9 comme le ratio entre cette taille effective et le nombre total $p$<\/span> de coefficients \u00e0 estimer (incluant l’ordonn\u00e9e \u00e0 l’origine et l’ensemble des indicatrices issues de la d\u00e9composition des facteurs qualitatifs) :<\/p>\n

$$\\text{EPV} = \\frac{N_{\\text{eff}}}{p}$$<\/span><\/p>\n

D\u00e8s lors que l’EPV plonge sous le seuil critique de 5 ou 10, la probabilit\u00e9 combinatoire qu’au moins une covariable ou une combinaison de covariables pr\u00e9sente une s\u00e9paration fortuite avec la variable r\u00e9ponse cro\u00eet exponentiellement. Cette vuln\u00e9rabilit\u00e9 devient aigu\u00eb dans l’\u00e9tude des \u00e9v\u00e9nements rares, tels que les effets ind\u00e9sirables graves en pharmacovigilance clinique, la d\u00e9tection des fraudes financi\u00e8res ou l’analyse des faillites d’entreprises. Dans un \u00e9chantillon de 10 000 patients ne comportant que 20 cas pathologiques ($y = 1$<\/span>), l’introduction de plus de deux ou trois variables explicatives expose imm\u00e9diatement le mod\u00e8le \u00e0 un d\u00e9ficit d’\u00e9v\u00e9nements par variable, catalysant l’apparition de l’\u00e9chec de convergence algorithmique par simple raret\u00e9 distributionnelle.<\/p>\n

5.2 5.2 Multicolin\u00e9arit\u00e9 s\u00e9v\u00e8re entre r\u00e9gresseurs<\/h3>\n

Une seconde cause majeure, ind\u00e9pendante de la s\u00e9paration vis-\u00e0-vis de la variable cible $Y$<\/span>, r\u00e9side dans les relations d’interd\u00e9pendance lin\u00e9aire quasi parfaites r\u00e9gnant au sein m\u00eame de la matrice de conception $X$<\/span> : la multicolin\u00e9arit\u00e9 s\u00e9v\u00e8re. Contrairement \u00e0 la s\u00e9paration, qui implique la r\u00e9ponse $Y$<\/span>, la colin\u00e9arit\u00e9 est une pathologie intrins\u00e8que de l’espace des covariables explicatives.<\/p>\n

Lorsque deux ou plusieurs r\u00e9gresseurs affichent un coefficient de corr\u00e9lation de Pearson ou de Spearman excessivement \u00e9lev\u00e9 (par exemple $|r| > 0{,}98$<\/span>), ou lorsqu’une variable peut \u00eatre pr\u00e9dite presque exactement par une combinaison lin\u00e9aire d’autres variables, la matrice d’information $X^T W X$<\/span> devient mal conditionn\u00e9e, m\u00eame en l’absence de probabilit\u00e9s pr\u00e9dites extr\u00eames. Les valeurs propres de la matrice se dispersent de fa\u00e7on pathologique, la plus petite valeur propre tendant asymptotiquement vers z\u00e9ro. Lors de la phase de calcul des moindres carr\u00e9s pond\u00e9r\u00e9s, l’inversion matricielle devient hypersensible aux moindres fluctuations d’arrondi num\u00e9rique, provoquant des sauts erratiques des coefficients $\\beta^{(t)}$<\/span> d’une it\u00e9ration \u00e0 l’autre.<\/p>\n

Pour diagnostiquer cette anomalie, le calcul du facteur d’inflation de la variance<\/strong> (Variance Inflation Factor<\/em> ou VIF) constitue l’outil diagnostique de r\u00e9f\u00e9rence sous R, notamment via la fonction vif()<\/code> du package car<\/code>. Pour un pr\u00e9dicteur $j$<\/span>, le VIF est calcul\u00e9 \u00e0 partir du coefficient de d\u00e9termination $R_j^2$<\/span> issu de la r\u00e9gression de ce pr\u00e9dicteur sur tous les autres r\u00e9gresseurs :<\/p>\n

$$\\text{VIF}_j = \\frac{1}{1 – R_j^2}$$<\/span><\/p>\n

Un VIF exc\u00e9dant les seuils conventionnels de 5 ou 10 signale une colin\u00e9arit\u00e9 substantielle capable de perturber l’algorithme IRLS. Il est crucial d’\u00e9tablir une distinction diagnostique nette entre la non-convergence par s\u00e9paration et celle par colin\u00e9arit\u00e9. Sous colin\u00e9arit\u00e9 pure, les probabilit\u00e9s ajust\u00e9es ne s’agglutinent pas n\u00e9cessairement aux bornes $0$ ou $1$, mais l’algorithme oscille sans fin sans stabiliser sa d\u00e9viance. Sous s\u00e9paration, la matrice de corr\u00e9lation interne des $X$<\/span> peut \u00eatre parfaitement orthogonale, mais la projection sur $Y$<\/span> conduit in\u00e9vitablement \u00e0 des poids d’information nuls.<\/p>\n

6. 6. Premi\u00e8re approche corrective : Param\u00e9trage avanc\u00e9 de glm.control<\/h2>\n

6.1 6.1 Modification des param\u00e8tres it\u00e9ratifs<\/h3>\n

Lorsque l’avertissement glm.fit: algorithm did not converge<\/code> se manifeste, la premi\u00e8re ligne de d\u00e9fense exploratoire consiste \u00e0 interroger le comportement de l’optimiseur num\u00e9rique en modifiant les hyperparam\u00e8tres de contr\u00f4le de la fonction glm()<\/code>, administr\u00e9s via la commande auxiliaire glm.control()<\/code>. Par d\u00e9faut, R calibre l’optimiseur avec une limite sup\u00e9rieure de $25$ it\u00e9rations (maxit = 25<\/code>) et une tol\u00e9rance de d\u00e9viance relative de $10^{-8}$<\/span> (epsilon = 1e-8<\/code>).<\/p>\n

Dans un nombre restreint de cas l\u00e9gitimes, la non-convergence n’est pas le fruit d’une s\u00e9paration math\u00e9matique structurelle, mais d\u00e9coule simplement d’une convergence particuli\u00e8rement lente. Cette situation survient typiquement lors de l’ajustement de mod\u00e8les comportant un volume consid\u00e9rable de donn\u00e9es, un conditionnement mod\u00e9r\u00e9ment d\u00e9grad\u00e9, ou des fonctions de lien non canoniques (telles que le lien identity<\/em> ou log<\/em> dans des mod\u00e8les binaires ou de Poisson) pour lesquelles la surface de vraisemblance pr\u00e9sente des vall\u00e9es \u00e9troites et sinueuses. Dans ce cadre pr\u00e9cis, autoriser l’algorithme \u00e0 prolonger sa qu\u00eate num\u00e9rique en augmentant le plafond d’it\u00e9rations peut permettre d’atteindre le point stationnaire :<\/p>\n

modele_etendu <- glm(y ~ x1 + x2, data = mes_donnees, family = binomial, control = glm.control(maxit = 100, epsilon = 1e-8))<\/code><\/p>\n

Cependant, il est d'une importance m\u00e9thodologique capitale de comprendre les limites inh\u00e9rentes \u00e0 cette manipulation. Si le mod\u00e8le est affect\u00e9 par une s\u00e9paration compl\u00e8te ou quasi-compl\u00e8te, porter maxit<\/code> \u00e0 100, 500 ou 10 000 n'apporte strictement aucune solution au probl\u00e8me. Au contraire, cette man\u0153uvre aggrave l'instabilit\u00e9 num\u00e9rique. \u00c0 chaque cycle it\u00e9ratif additionnel, l'algorithme IRLS propulse les coefficients des variables s\u00e9paratrices vers des valeurs toujours plus astronomiques, d\u00e9t\u00e9riorant encore davantage la condition matricielle de $X^T W X$<\/span> et amplifiant l'explosion des erreurs-types. Si l'augmentation de maxit<\/code> r\u00e9sout l'avertissement sans que les coefficients ne changent d'ordre de grandeur, la convergence \u00e9tait simplement lente. Si les coefficients doublent ou triplent entre maxit = 25<\/code> et maxit = 100<\/code>, la s\u00e9paration est formellement confirm\u00e9e et l'ajustement de glm.control<\/code> doit \u00eatre imm\u00e9diatement abandonn\u00e9.<\/p>\n

6.2 6.2 Sp\u00e9cification de valeurs de d\u00e9part<\/h3>\n

Une seconde modalit\u00e9 d'intervention au niveau du contr\u00f4le algorithmique r\u00e9side dans l'initialisation explicite du vecteur des param\u00e8tres ou des pr\u00e9dicteurs via les arguments start<\/code>, etastart<\/code> ou mustart<\/code>. Par d\u00e9faut, glm()<\/code> applique une heuristique interne d'initialisation bas\u00e9e sur la transformation du lien appliqu\u00e9e \u00e0 une fraction modifi\u00e9e de la r\u00e9ponse observ\u00e9e, g\u00e9n\u00e9ralement formalis\u00e9e par :<\/p>\n

$$\\mu_i^{(0)} = \\frac{y_i + 0{,}5}{2}$$<\/span><\/p>\n

Bien que cette initialisation soit robuste dans les configurations standard, elle peut positionner l'algorithme dans une r\u00e9gion d\u00e9favorable de l'espace param\u00e9trique, caract\u00e9ris\u00e9e par un gradient quasiment nul ou des instabilit\u00e9s num\u00e9riques imm\u00e9diates, notamment lors de l'usage de fonctions de lien asym\u00e9triques telles que le lien log-log compl\u00e9mentaire (cloglog<\/code>) ou le lien Cauchy (cauchit<\/code>). L'analyste peut alors guider manuellement l'algorithme en fournissant un vecteur de coefficients initiaux r\u00e9alistes via l'argument start<\/code> :<\/p>\n

modele_start <- glm(y ~ x1 + x2, data = mes_donnees, family = binomial, start = c(0, rep(0, p)))<\/code><\/p>\n

L'attribution de valeurs nulles ou de coefficients d\u00e9riv\u00e9s d'un mod\u00e8le lin\u00e9aire standard simplifi\u00e9 (ou d'une r\u00e9gression univari\u00e9e robuste) permet parfois de contourner un point de blocage computationnel local. De m\u00eame, l'initialisation de mustart<\/code> \u00e0 des probabilit\u00e9s uniformes \u00e9loign\u00e9es des fronti\u00e8res (par exemple $0{,}5$<\/span> pour tous les individus) emp\u00eache l'algorithme de projeter imm\u00e9diatement des poids $w_{ii}$<\/span> infinit\u00e9simaux d\u00e8s la premi\u00e8re passe. N\u00e9anmoins, \u00e0 l'instar de l'ajustement de maxit<\/code>, cette approche reste inop\u00e9rante si la fonction de vraisemblance ne poss\u00e8de aucun maximum fini dans $\\mathbb{R}^p$<\/span>. Elle rel\u00e8ve de l'optimisation num\u00e9rique d'appoint et ne saurait pallier une d\u00e9ficience structurelle d'identifiabilit\u00e9 du mod\u00e8le.<\/p>\n

7. 7. Solution structurelle : La r\u00e9gression logistique p\u00e9nalis\u00e9e de Firth<\/h2>\n

7.1 7.1 Th\u00e9orie de la p\u00e9nalisation par le d\u00e9terminant de Fisher<\/h3>\n

Lorsque la s\u00e9paration compl\u00e8te ou quasi-compl\u00e8te est diagnostiqu\u00e9e, l'approche corrective reine, recommand\u00e9e par l'ensemble des consensus m\u00e9thodologiques en biostatistique et en mod\u00e9lisation avanc\u00e9e, repose sur la m\u00e9thode de p\u00e9nalisation de Firth<\/strong>. Introduite en 1993 par le statisticien britannique David Firth dans un article phare publi\u00e9 dans Biometrika<\/em>, cette technique avait originellement pour vocation de corriger le biais au premier ordre de l'estimateur du maximum de vraisemblance dans les \u00e9chantillons de taille finie.<\/p>\n

Sous la th\u00e9orie asymptotique standard, l'estimateur du maximum de vraisemblance $\\hat{\\beta}_{\\text{MLE}}$<\/span> est asymptotiquement sans biais, mais pour des \u00e9chantillons mod\u00e9r\u00e9s ou des sch\u00e9mas d'\u00e9chantillonnage asym\u00e9triques, son esp\u00e9rance math\u00e9matique pr\u00e9sente un biais d'ordre $\\mathcal{O}(n^{-1})$<\/span> :<\/p>\n

$$\\mathbb{E}(\\hat{\\beta}_{\\text{MLE}}) = \\beta + \\frac{b_1(\\beta)}{n} + \\mathcal{O}(n^{-2})$$<\/span><\/p>\n

Pour \u00e9liminer ce terme de biais syst\u00e9matique, David Firth a propos\u00e9 d'alt\u00e9rer la fonction de score originale $U(\\beta) = \\nabla ell(\\beta)$<\/span> en lui adjoignant un terme de p\u00e9nalisation d\u00e9riv\u00e9 de l'information de Fisher attendue $I(\\beta) = \\mathbb{E}[-\\nabla^2 ell(\\beta)]$<\/span>. La fonction de score modifi\u00e9e s'exprime sous la forme :<\/p>\n

$$U^*(\\beta) = U(\\beta) + \\frac{1}{2} \\text{tr}\\left( I(\\beta)^{-1} \\frac{\\partial I(\\beta)}{\\partial \\beta} \\right)$$<\/span><\/p>\n

Cette modification du gradient \u00e9quivaut rigoureusement \u00e0 maximiser une fonction de log-vraisemblance p\u00e9nalis\u00e9e, not\u00e9e $ell^*(\\beta)$<\/span>, d\u00e9finie par :<\/p>\n

$$ell^*(\\beta) = ell(\\beta) + \\frac{1}{2} \\ln |I(\\beta)|$$<\/span><\/p>\n

o\u00f9 $|I(\\beta)|$<\/span> d\u00e9signe le d\u00e9terminant de la matrice d'information de Fisher. Sur le plan de l'\u00e9pist\u00e9mologie statistique, cette formalisation \u00e9tablit une passerelle parfaite avec le paradigme bay\u00e9sien : maximiser la vraisemblance p\u00e9nalis\u00e9e de Firth \u00e9quivaut exactement \u00e0 d\u00e9river le mode a posteriori<\/em> du mod\u00e8le sous l'hypoth\u00e8se de l'a priori non informatif de Jeffreys, dont la densit\u00e9 est proportionnelle \u00e0 $|I(\\beta)|^{1\/2}$<\/span>.<\/p>\n

La propri\u00e9t\u00e9 math\u00e9matique transcendante de la m\u00e9thode de Firth, mise en lumi\u00e8re dans le domaine de la r\u00e9gression logistique par Georg Heinze et Michael Schemper (2002), r\u00e9side dans sa capacit\u00e9 \u00e0 conf\u00e9rer une concavit\u00e9 absolue \u00e0 la fonction d'objectif sur l'ensemble de l'espace des param\u00e8tres, garantissant formellement l'existence et l'unicit\u00e9 d'estimations finies pour les coefficients $\\beta$<\/span>, y compris en pr\u00e9sence de s\u00e9paration compl\u00e8te ou quasi-compl\u00e8te<\/strong>. Le terme de p\u00e9nalisation $\\frac{1}{2}ln|I(\\beta)|$<\/span> agit comme une force de rappel g\u00e9om\u00e9trique : lorsque $|beta| to \\infty$<\/span>, le d\u00e9terminant de l'information de Fisher s'effondre vers z\u00e9ro (puisque les poids $p_i(1-p_i)$<\/span> s'annulent), propulsant sa composante logarithmique vers $-\\infty$<\/span>. Cette p\u00e9nalit\u00e9 neutralise l'ascension de la vraisemblance standard et replie la surface math\u00e9matique vers un sommet int\u00e9rieur parfaitement identifiable et fini.<\/p>\n

7.2 7.2 Mise en \u0153uvre pratique avec le package logistf<\/h3>\n

Dans l'\u00e9cosyst\u00e8me logiciel R, la translation op\u00e9rationnelle de la th\u00e9orie de David Firth est orchestr\u00e9e magistralement par le package logistf<\/code><\/a>, d\u00e9velopp\u00e9 par Georg Heinze, Meinhard Ploner et leurs collaborateurs. Ce package a \u00e9t\u00e9 sp\u00e9cifiquement architectur\u00e9 pour se substituer de mani\u00e8re transparente \u00e0 glm()<\/code> d\u00e8s lors qu'un probl\u00e8me de s\u00e9paration est d\u00e9tect\u00e9.<\/p>\n

La syntaxe de mod\u00e9lisation respecte rigoureusement la convention des formules sous R, assurant une transition ergonomique imm\u00e9diate pour l'utilisateur :<\/p>\n

library(logistf)
modele_firth <- logistf(y ~ x1 + x2 + x3, data = mes_donnees)<\/code><\/p>\n

L'ex\u00e9cution de cette commande r\u00e9sout instantan\u00e9ment et d\u00e9finitivement l'avertissement de non-convergence. L\u00e0 o\u00f9 glm()<\/code> d\u00e9rivait vers des coefficients oscillant autour de 30 avec des erreurs-types de 20 000 et des p-valeurs factices de 0,999, logistf()<\/code> fournit des coefficients stables, biologiquement et empiriquement interpr\u00e9tables (g\u00e9n\u00e9ralement compris entre 2 et 5 pour les s\u00e9parations nettes en \u00e9chelle logit).<\/p>\n

Une caract\u00e9ristique m\u00e9thodologique fondamentale de logistf<\/code> concerne le mode de d\u00e9duction statistique appliqu\u00e9 aux coefficients. Parce que la statistique de Wald standard demeure biais\u00e9e et instable dans les petits \u00e9chantillons ou en pr\u00e9sence de s\u00e9paration r\u00e9siduelle, la fonction logistf()<\/code> fonde ses intervalles de confiance et ses tests d'hypoth\u00e8ses sur la vraisemblance p\u00e9nalis\u00e9e de profil<\/strong> (penalized profile likelihood<\/em>). L'intervalle de confiance \u00e0 $100(1-\\alpha)%$<\/span> pour le param\u00e8tre $\\beta_j$<\/span> est d\u00e9termin\u00e9 en identifiant les valeurs limites du param\u00e8tre satisfaisant :<\/p>\n

$$2 \\left[ ell^*(\\hat{\\beta}) - ell^*(\\beta_j, \\hat{\\beta}_{-j}(\\beta_j)) \\right] le \\chi^2_{1, , 1-\\alpha}$$<\/span><\/p>\n

Ces intervalles de profil sont typiquement asym\u00e9triques, refl\u00e9tant la v\u00e9ritable g\u00e9om\u00e9trie de l'incertitude informationnelle, contrairement aux intervalles de Wald sym\u00e9triques qui induisent des erreurs d'interpr\u00e9tation massives. Pour tester l'effet global d'un ensemble de covariables ou \u00e9valuer un pr\u00e9dicteur individuel, il est recommand\u00e9 d'utiliser la fonction drop1()<\/code> adapt\u00e9e au package, formalis\u00e9e par l'appel drop1(modele_firth)<\/code>, qui ex\u00e9cute des tests de rapport de vraisemblance p\u00e9nalis\u00e9s robustes.<\/p>\n

8. 8. Approches de r\u00e9gularisation : Ridge, Lasso et Elastic Net<\/h2>\n

8.1 8.1 M\u00e9canismes de contraction des coefficients<\/h3>\n

Au-del\u00e0 de la m\u00e9thode de Firth, le paradigme de l'apprentissage statistique moderne (machine learning<\/em>) offre une alternative conceptuelle extr\u00eamement puissante pour juguler la non-convergence issue de la s\u00e9paration et de la surparam\u00e9trisation : les techniques de r\u00e9gularisation par contraction des param\u00e8tres (shrinkage<\/em>). Ces approches reposent sur l'adjonction explicite d'une contrainte math\u00e9matique norm\u00e9e sur le vecteur des coefficients $\\beta$<\/span> lors de la maximisation de la log-vraisemblance.<\/p>\n

La formulation g\u00e9n\u00e9rale d'un mod\u00e8le lin\u00e9aire g\u00e9n\u00e9ralis\u00e9 r\u00e9gularis\u00e9 s'exprime par la maximisation du crit\u00e8re p\u00e9nalis\u00e9 :<\/p>\n

$$\\max_{\\beta_0, , \\beta} \\left{ \\frac{1}{n} \\sum_{i=1}^n ell(y_i, , \\beta_0 + X_i \\beta) - \\lambda , P(\\beta) \\right}$$<\/span><\/p>\n

o\u00f9 $lambda ge 0$<\/span> repr\u00e9sente un hyperparam\u00e8tre de p\u00e9nalisation contr\u00f4lant l'intensit\u00e9 de la contraction, et $P(\\beta)$<\/span> mat\u00e9rialise la fonction de p\u00e9nalit\u00e9 g\u00e9om\u00e9trique. Trois variantes majeures dominent la litt\u00e9rature statistique :<\/p>\n