{"id":2195,"date":"2026-10-14T18:00:49","date_gmt":"2026-10-14T18:00:49","guid":{"rendered":"http:\/\/french.arabpsychology.com\/statistics\/regression-vs-classification-difference\/"},"modified":"2026-10-14T18:00:49","modified_gmt":"2026-10-14T18:00:49","slug":"regression-vs-classification-difference","status":"publish","type":"psych_stat","link":"https:\/\/french.arabpsychology.com\/?psych_stat=regression-vs-classification-difference","title":{"rendered":"R\u00e9gression vs Classification : Quelle est la diff\u00e9rence ?"},"content":{"rendered":"

Au c\u0153ur de la r\u00e9volution contemporaine de l’intelligence artificielle et de la science des donn\u00e9es, l’apprentissage automatique supervis\u00e9<\/a> s’impose comme le cadre m\u00e9thodologique pr\u00e9dominant pour mod\u00e9liser des ph\u00e9nom\u00e8nes complexes, extraire des r\u00e9gularit\u00e9s empiriques et formuler des pr\u00e9dictions robustes. Qu’il s’agisse d’anticiper la trajectoire \u00e9volutive d’une pathologie neurod\u00e9g\u00e9n\u00e9rative, d’estimer la valeur marchande d’un actif financier, de diagnostiquer un trouble psychiatrique ou d’identifier des motifs de percolation dans des r\u00e9seaux sociaux, les chercheurs et praticiens mobilisent des architectures algorithmiques sophistiqu\u00e9es. Toutefois, sous la foisonnante diversit\u00e9 des biblioth\u00e8ques de calcul et des mod\u00e8les pr\u00e9dictifs, une dichotomie fondamentale gouverne l’ensemble de cette discipline : la distinction irr\u00e9ductible entre la r\u00e9gression et la classification. Cette ligne de partage, loin de constituer un simple d\u00e9tail d’impl\u00e9mentation logicielle, engage des fondements ontologiques, math\u00e9matiques et \u00e9pist\u00e9mologiques distincts qui conditionnent l’ensemble de la cha\u00eene de traitement analytique.<\/p>\n

La confusion entre r\u00e9gression et classification repr\u00e9sente l’un des \u00e9cueils m\u00e9thodologiques les plus pernicieux en mod\u00e9lisation statistique. Bien que ces deux paradigmes partagent une armature conceptuelle commune fond\u00e9e sur l’optimisation param\u00e9trique et la minimisation du risque empirique, ils divergent radicalement quant \u00e0 la topologie de leur espace d’arriv\u00e9e, aux fonctions de perte mobilis\u00e9es pour calibrer leurs param\u00e8tres, et aux crit\u00e8res d’\u00e9valuation de leurs performances. R\u00e9duire une variable continue \u00e0 des classes arbitraires par souci de simplification ou, inversement, projeter une structure intrins\u00e8quement nominale sur une droite num\u00e9rique sans justification m\u00e9trique engendre des distorsions pr\u00e9dictives majeures, une d\u00e9perdition d’information irr\u00e9versible et des biais d’inf\u00e9rence substantiels. La rigueur scientifique exige d\u00e8s lors une compr\u00e9hension intime des propri\u00e9t\u00e9s de la variable d’int\u00e9r\u00eat, ainsi que des hypoth\u00e8ses formelles qui sous-tendent chaque classe d’algorithmes.<\/p>\n

Cet article propose une analyse exhaustive et approfondie de la fronti\u00e8re s\u00e9parant la r\u00e9gression de la classification dans le contexte de l’apprentissage supervis\u00e9. En explorant successivement les bases math\u00e9matiques de chaque paradigme, la typologie des variables cibles, les familles algorithmiques repr\u00e9sentatives, les m\u00e9triques d’\u00e9valuation sp\u00e9cialis\u00e9es ainsi que les cas hybrides \u00e0 l’interface des deux approches, nous fournirons aux chercheurs, data scientists et statisticiens les cl\u00e9s th\u00e9oriques et pratiques n\u00e9cessaires pour concevoir des architectures pr\u00e9dictives optimales. \u00c0 travers des illustrations issues notamment des sciences cognitives, de la psychom\u00e9trie et de la recherche clinique, nous mettrons en lumi\u00e8re les enjeux critiques li\u00e9s au choix de la formulation du probl\u00e8me, guidant ainsi le lecteur vers des d\u00e9cisions m\u00e9thodologiques \u00e9clair\u00e9es et rigoureuses.<\/p>\n

1. Fondements th\u00e9oriques de l’apprentissage supervis\u00e9<\/h2>\n

1.1 D\u00e9finition et paradigme de l’apprentissage supervis\u00e9<\/h3>\n

L’apprentissage supervis\u00e9 constitue l’une des branches ma\u00eetresses de la th\u00e9orie de l’apprentissage statistique formalis\u00e9e par Vladimir Vapnik. Sur le plan math\u00e9matique, ce paradigme postule l’existence d’un espace d’entr\u00e9e mesurable not\u00e9 $\\mathcal{X} \\subset \\mathbb{R}^d$<\/span>, repr\u00e9sentant l’ensemble des vecteurs de caract\u00e9ristiques ou pr\u00e9dicteurs, et d’un espace de sortie mesurable not\u00e9 $\\mathcal{Y}$<\/span>, repr\u00e9sentant la variable d\u00e9pendante ou cible. Les donn\u00e9es observ\u00e9es sont g\u00e9n\u00e9r\u00e9es par une distribution de probabilit\u00e9 conjointe sous-jacente, fixe mais inconnue, not\u00e9e $P(X, Y)$<\/span> d\u00e9finie sur l’espace produit $\\mathcal{X} \\times \\mathcal{Y}$<\/span>. L’analyste dispose d’un ensemble d’entra\u00eenement constitu\u00e9 de $n$<\/span> couples d’observations identiquement et ind\u00e9pendamment distribu\u00e9es (i.i.d.) :<\/p>\n

$$\\mathcal{D}_n = {(x_1, y_1), (x_2, y_2), dots, (x_n, y_n)} in (\\mathcal{X} \\times \\mathcal{Y})^n$$<\/span><\/p>\n

Le r\u00f4le des donn\u00e9es \u00e9tiquet\u00e9es est central dans ce cadre : elles constituent la v\u00e9rit\u00e9 terrain servant de guide \u00e0 l’optimisation des param\u00e8tres du mod\u00e8le. L’objectif fondamental consiste \u00e0 induire, \u00e0 partir de cet \u00e9chantillon fini $\\mathcal{D}_n$<\/span>, une fonction de pr\u00e9diction mesurable $f : \\mathcal{X} \\rightarrow \\mathcal{Y}$<\/span>, choisie au sein d’un espace d’hypoth\u00e8ses pr\u00e9d\u00e9fini $\\mathcal{H}$<\/span>, capable d’estimer avec exactitude la valeur de $Y$<\/span> associ\u00e9e \u00e0 un nouveau vecteur d’entr\u00e9e $X$<\/span> issu de la m\u00eame distribution conjointe.<\/p>\n

D’un point de vue \u00e9pist\u00e9mologique, une distinction radicale s’op\u00e8re selon la nature de l’espace d’arriv\u00e9e $\\mathcal{Y}$<\/span>. Lorsque $\\mathcal{Y}$<\/span> est un sous-ensemble continu de la droite r\u00e9elle ($\\mathcal{Y} \\subseteq \\mathbb{R}$<\/span>), l’apprentissage rel\u00e8ve de la pr\u00e9diction quantitative, o\u00f9 le mod\u00e8le cherche \u00e0 capturer une intensit\u00e9, une magnitude ou une grandeur physique continue. En revanche, lorsque $\\mathcal{Y}$<\/span> est un ensemble discret et fini d’\u00e9tiquettes non ordonn\u00e9es ou ordonn\u00e9es ($\\mathcal{Y} = {c_1, c_2, dots, c_K}$<\/span>), la t\u00e2che devient une affectation cat\u00e9gorielle, visant \u00e0 partitionner l’espace vectoriel des entr\u00e9es en bassins d’attraction correspondant \u00e0 des entit\u00e9s qualitatives distinctes.<\/p>\n

Dans les deux configurations, le crit\u00e8re d’optimalit\u00e9 ultime repose sur la th\u00e9orie de la g\u00e9n\u00e9ralisation. Plut\u00f4t que de chercher une m\u00e9morisation parfaite des donn\u00e9es observ\u00e9es, l’algorithme doit minimiser le risque th\u00e9orique ou risque r\u00e9el, d\u00e9fini comme l’esp\u00e9rance de la perte subie lors de la pr\u00e9diction :<\/p>\n

$$R(f) = \\mathbb{E}_{(X, Y) \\sim P}[L(f(X), Y)] = \\int_{\\mathcal{X} \\times \\mathcal{Y}} L(f(x), y) , dP(x, y)$$<\/span><\/p>\n

o\u00f9 $L : \\mathcal{Y} \\times \\mathcal{Y} \\rightarrow \\mathbb{R}^+$<\/span> repr\u00e9sente la fonction de co\u00fbt mesurant le d\u00e9saccord entre la pr\u00e9diction du mod\u00e8le $f(x)$<\/span> et la valeur observ\u00e9e $y$<\/span>. La distribution $P(X,Y)$<\/span> \u00e9tant par essence inaccessible, l’apprentissage machine op\u00e9rationnalise ce principe par la minimisation du risque empirique (MRE), corrig\u00e9e par des m\u00e9canismes de r\u00e9gularisation pour pr\u00e9venir le surajustement (overfitting) et garantir une robustesse pr\u00e9dictive hors \u00e9chantillon.<\/p>\n

1.2 Taxonomie structurelle des probl\u00e8mes pr\u00e9dictifs<\/h3>\n

La taxonomie des probl\u00e8mes pr\u00e9dictifs en apprentissage automatique est structur\u00e9e par la nature de la variable cible $Y$<\/span>. Cette dualit\u00e9 fondamentale \u2014 variables d’int\u00e9r\u00eat continues versus variables discr\u00e8tes \u2014 scinde le champ m\u00e9thodologique en deux grands domaines op\u00e9ratoires. L’\u00e9chelle de mesure de la variable d\u00e9pendante dicte la topologie de l’espace de sortie, ce qui impose des contraintes math\u00e9matiques directes sur les architectures algorithmiques admissibles. Un algorithme ne peut traiter une grandeur continue et une modalit\u00e9 discr\u00e8te avec les m\u00eames op\u00e9rations vectorielles sans op\u00e9rer au pr\u00e9alable des transformations d’espace qui alt\u00e8rent substantiellement la g\u00e9om\u00e9trie intrins\u00e8que des donn\u00e9es.<\/p>\n

Le conditionnement des donn\u00e9es d’entra\u00eenement exerce une influence d\u00e9terminante sur la tractabilit\u00e9 du probl\u00e8me. Dans le cas continu, les donn\u00e9es d’entra\u00eenement peuvent \u00eatre affect\u00e9es par des bruits de mesure gaussiens, des d\u00e9rives de calibration instrumentale, de l’h\u00e9t\u00e9rosc\u00e9dasticit\u00e9 ou des censures d’\u00e9chelle \u00e0 gauche et \u00e0 droite. Dans le cas discret, les difficult\u00e9s structurales se manifestent sous la forme de d\u00e9s\u00e9quilibres s\u00e9v\u00e8res de pr\u00e9valence entre classes (class imbalance), d’ambigu\u00eft\u00e9s d’\u00e9tiquetage (label noise) dues \u00e0 la subjectivit\u00e9 des annotateurs humains, ou de s\u00e9parabilit\u00e9 g\u00e9om\u00e9trique imparfaite au sein de l’espace des descripteurs.<\/p>\n

Ces disparit\u00e9s conditionnent la nature formelle des espaces d’hypoth\u00e8ses $\\mathcal{H}$<\/span>. En r\u00e9gression, $\\mathcal{H}$<\/span> est traditionnellement compos\u00e9 de familles d’op\u00e9rateurs continus, diff\u00e9rentiables et lisses, telles que les hyperplans affines, les splines de lissage ou les surfaces de r\u00e9gression g\u00e9n\u00e9r\u00e9es par des combinaisons lin\u00e9aires de fonctions de base dans un espace de Hilbert \u00e0 noyau reproduisant (RKHS). En classification, l’espace d’hypoth\u00e8ses s’apparente \u00e0 un ensemble d’op\u00e9rateurs de partitionnement con\u00e7us pour tracer des fronti\u00e8res de d\u00e9cision \u2014 lin\u00e9aires ou hautement non lin\u00e9aires \u2014 divisant l’espace $\\mathcal{X}$<\/span> en r\u00e9gions disjointes associ\u00e9es chacune \u00e0 un indice cat\u00e9goriel sp\u00e9cifique.<\/p>\n

1.3 L’importance de la formulation du probl\u00e8me de recherche<\/h3>\n

La formulation initiale de la question scientifique constitue l’\u00e9tape la plus critique du cycle de mod\u00e9lisation pr\u00e9dictive. Une erreur d’inscription algorithmique \u2014 c’est-\u00e0-dire le choix inappropri\u00e9 d’un paradigme de classification l\u00e0 o\u00f9 une r\u00e9gression s’impose, ou inversement \u2014 vicie irr\u00e9m\u00e9diablement la validit\u00e9 interne et externe des conclusions tir\u00e9es des donn\u00e9es. Cette inad\u00e9quation conceptuelle conduit fr\u00e9quemment les praticiens \u00e0 forcer la r\u00e9alit\u00e9 empirique dans un moule algorithmique incompatible avec les processus g\u00e9n\u00e9rateurs sous-jacents du ph\u00e9nom\u00e8ne \u00e9tudi\u00e9.<\/p>\n

Les cons\u00e9quences d’une mauvaise sp\u00e9cification de la variable cible sont substantielles. Supposons qu’un chercheur souhaite pr\u00e9dire le niveau de d\u00e9tresse psychologique d’un individu. S’il transforme un score continu d’\u00e9chelle clinique valid\u00e9e (variant par exemple de 0 \u00e0 100) en une variable binaire arbitraire (\u00ab sain \u00bb versus \u00ab pathologique \u00bb) en appliquant un seuil de coupure standardis\u00e9, il d\u00e9truit instantan\u00e9ment la variance interindividuelle situ\u00e9e de part et d’autre de ce seuil. Deux sujets pr\u00e9sentant des scores respectifs de 49 et de 51 seront trait\u00e9s comme diam\u00e9tralement oppos\u00e9s, tandis que deux sujets ayant des scores de 51 et 98 seront assimil\u00e9s \u00e0 une m\u00eame cat\u00e9gorie homog\u00e8ne. Cette dichotomisation artificielle induit une d\u00e9gradation s\u00e9v\u00e8re de la puissance statistique, une majoration artificielle des risques d’erreur de type I et II, et l’impossibilit\u00e9 d’\u00e9valuer la s\u00e9v\u00e9rit\u00e9 graduelle du tableau clinique.<\/p>\n

Dans les sciences empiriques et particuli\u00e8rement en psychom\u00e9trie quantitative, les variables observ\u00e9es sont fr\u00e9quemment le reflet indirect de variables latentes continues non observables (l’intelligence fluide, le n\u00e9vrosisme, la charge cognitive). Mod\u00e9liser ces construits exige une coh\u00e9rence formelle absolue entre l’appareil m\u00e9trologique utilis\u00e9 pour la collecte des donn\u00e9es et la structure fonctionnelle de l’algorithme d’apprentissage automatique retenu pour l’inf\u00e9rence. Le choix entre classification et r\u00e9gression doit d\u00e9couler d’une analyse \u00e9pist\u00e9mologique du ph\u00e9nom\u00e8ne plut\u00f4t que de consid\u00e9rations de commodit\u00e9 logicielle ou de conventions disciplinaires non interrog\u00e9es.<\/p>\n

2. Comprendre la r\u00e9gression : Concepts fondamentaux et mod\u00e9lisation continue<\/h2>\n

2.1 D\u00e9finition math\u00e9matique et conceptuelle de la r\u00e9gression<\/h3>\n

La r\u00e9gression, dans le cadre de la th\u00e9orie statistique moderne, a pour dessein primordial de mod\u00e9liser l’esp\u00e9rance conditionnelle<\/a> d’une variable al\u00e9atoire continue $Y in \\mathbb{R}$<\/span> sachant la r\u00e9alisation d’un vecteur de variables explicatives $X = x in \\mathbb{R}^d$<\/span>. Formellement, il s’agit d’identifier une fonction de r\u00e9gression $m(x)$<\/span> d\u00e9finie par :<\/p>\n

$$m(x) = \\mathbb{E}[Y mid X = x] = \\int_{-\\infty}^{+\\infty} y , p(y mid x) , dy$$<\/span><\/p>\n

o\u00f9 $p(y mid x)$<\/span> d\u00e9signe la densit\u00e9 conditionnelle de $Y$<\/span> sachant $X = x$<\/span>. Sur le plan g\u00e9om\u00e9trique, l’application $x mapsto m(x)$<\/span> d\u00e9crit une surface de r\u00e9ponse au sein de l’espace produit $\\mathbb{R}^d \\times \\mathbb{R}$<\/span>. Dans le cadre d’un mod\u00e8le lin\u00e9aire standard, cette surface est contrainte \u00e0 \u00eatre un hyperplan affine de dimension $d$<\/span>, d’\u00e9quation g\u00e9n\u00e9rale $m(x) = langle w, x rangle + b$<\/span>, o\u00f9 $w in \\mathbb{R}^d$<\/span> est le vecteur des poids directeurs et $b in \\mathbb{R}$<\/span> repr\u00e9sente le biais ou l’ordonn\u00e9e \u00e0 l’origine.<\/p>\n

L’espace d’arriv\u00e9e $\\mathcal{Y}$<\/span> en r\u00e9gression se caract\u00e9rise par sa continuit\u00e9 topologique : il s’agit d’un ensemble non d\u00e9nombrable, infini ou semi-infini (par exemple $\\mathbb{R}^+$<\/span> pour des temps de survie ou des concentrations biochimiques), muni d’une m\u00e9trique euclidienne naturelle dans laquelle les distances g\u00e9om\u00e9triques poss\u00e8dent une signification directe. Deux pr\u00e9dictions $\\hat{y}_1$<\/span> et $\\hat{y}_2$<\/span> peuvent \u00eatre infiniment proches l’une de l’autre, et l’\u00e9cart les s\u00e9parant est directement mesurable et quantifiable dans l’unit\u00e9 de la variable originale.<\/p>\n

L’observation empirique s’exprime sous la forme d\u00e9compos\u00e9e $Y = m(X) + varepsilon$<\/span>, o\u00f9 $varepsilon$<\/span> symbolise le terme d’erreur ou r\u00e9sidu stochastique. Ce r\u00e9sidu capture l’ensemble des variations infinit\u00e9simales non mesur\u00e9es, le bruit instrumental et l’incompl\u00e9tude intrins\u00e8que de l’ensemble des descripteurs $X$<\/span>. Les approches classiques param\u00e9triques postulent souvent que ce r\u00e9sidu suit une loi normale centr\u00e9e d’\u00e9cart-type constant $\\varepsilon \\sim \\mathcal{N}(0, \\sigma^2)$<\/span> (hypoth\u00e8se d’homosc\u00e9dasticit\u00e9), condition indispensable \u00e0 la validit\u00e9 des tests d’inf\u00e9rence de Student et de Fisher, bien que les m\u00e9thodes non param\u00e9triques modernes d’apprentissage statistique soient capables de s’affranchir de cette restriction distributionnelle.<\/p>\n

2.2 Typologie des variables cibles en r\u00e9gression<\/h3>\n

Les variables cibles manipul\u00e9es en mod\u00e9lisation de r\u00e9gression doivent imp\u00e9rativement relever de niveaux de mesure quantitatifs, \u00e0 savoir les \u00e9chelles d’intervalles ou les \u00e9chelles de rapports, selon la classification canonique \u00e9tablie par Stanley Smith Stevens. Une \u00e9chelle d’intervalles (telle que la temp\u00e9rature mesur\u00e9e en degr\u00e9s Celsius ou certains scores factoriels standardis\u00e9s issus d’analyses psychom\u00e9triques) garantit l’\u00e9galit\u00e9 des \u00e9carts entre les valeurs cons\u00e9cutives, mais poss\u00e8de un point z\u00e9ro fix\u00e9 de mani\u00e8re arbitraire. Une \u00e9chelle de rapports (comme la masse corporelle, la conductance cutan\u00e9e ou la concentration s\u00e9rique de cortisol) dispose en revanche d’un z\u00e9ro absolu, ce qui conf\u00e8re une validit\u00e9 physique aux rapports math\u00e9matiques entre observations (dire qu’une grandeur est le double d’une autre y prend tout son sens).<\/p>\n

Dans le domaine des neurosciences cognitives et de la psychologie computationnelle, les variables cibles continues englobent par exemple le temps de r\u00e9action moteur mesur\u00e9 \u00e0 la milliseconde pr\u00e8s, la latence des composantes \u00e9voqu\u00e9es en \u00e9lectroenc\u00e9phalographie (telle que l’onde P300), le pourcentage de d\u00e9saturation en oxyg\u00e8ne de l’h\u00e9moglobine c\u00e9r\u00e9brale mesur\u00e9 par imagerie par r\u00e9sonance magn\u00e9tique fonctionnelle (signal BOLD), ou encore les scores d’habilet\u00e9 cognitive estim\u00e9s par les mod\u00e8les de la th\u00e9orie de la r\u00e9ponse aux items (TRI).<\/p>\n

Toutefois, la manipulation de variables cibles quantitatives confronte fr\u00e9quemment l’analyste au probl\u00e8me de la troncature et des valeurs limites. Les instruments d’\u00e9valuation exp\u00e9rimentale pr\u00e9sentent souvent des effets de plancher (floor effects) et des effets de plafond (ceiling effects). Par exemple, un questionnaire d’\u00e9valuation de la m\u00e9moire de travail born\u00e9 entre 0 et 30 engendre une accumulation non normale de scores \u00e0 ses extr\u00e9mit\u00e9s lorsque les sujets sont soit tr\u00e8s d\u00e9grad\u00e9s, soit hautement performants. Dans de telles situations, les propri\u00e9t\u00e9s m\u00e9triques de continuit\u00e9 absolue sont viol\u00e9es aux fronti\u00e8res du domaine, n\u00e9cessitant des adaptations algorithmiques sp\u00e9cifiques, \u00e0 l’image des mod\u00e8les de r\u00e9gression censur\u00e9e de Tobit ou de l’estimation par vraisemblance p\u00e9nalis\u00e9e sous contraintes d’in\u00e9galit\u00e9s.<\/p>\n

2.3 Le processus d’estimation en r\u00e9gression<\/h3>\n

L’ajustement des param\u00e8tres d’un mod\u00e8le de r\u00e9gression proc\u00e8de par minimisation fonctionnelle d’un crit\u00e8re d’\u00e9cart global entre la r\u00e9alit\u00e9 mesur\u00e9e et la r\u00e9ponse pr\u00e9dite par l’algorithme. Dans le cadre canonique des moindres carr\u00e9s ordinaires (MCO), le processus d’estimation consiste \u00e0 localiser le vecteur optimal de param\u00e8tres $\\hat{w}$<\/span> qui minimise la somme des carr\u00e9s des r\u00e9sidus (Residual Sum of Squares, RSS) sur l’ensemble d’entra\u00eenement :<\/p>\n

$$\\text{RSS}(w) = \\sum_{i=1}^n (y_i – f(x_i; w))^2 = |y – Xw|_2^2$$<\/span><\/p>\n

Ce processus algorithmique d\u00e9ploie des capacit\u00e9s d’interpolation g\u00e9om\u00e9trique au sein du domaine convexe d\u00e9limit\u00e9 par l’enveloppe des descripteurs d’entra\u00eenement (l’enveloppe convexe de $\\mathcal{X}$<\/span>). L’algorithme apprend \u00e0 d\u00e9former localement ou globalement sa surface de r\u00e9ponse afin d’\u00e9pouser au mieux la topologie des points d’observation dans l’espace multidimensionnel. En revanche, l’extrapolation \u2014 qui consiste \u00e0 interroger le mod\u00e8le en dehors des bornes empiriques explor\u00e9es lors de la phase d’apprentissage \u2014 constitue une faiblesse notoire de la r\u00e9gression, o\u00f9 les pr\u00e9dictions lin\u00e9aires se prolongent \u00e0 l’infini sans garantie de plausibilit\u00e9 physique, tandis que les algorithmes non lin\u00e9aires bas\u00e9s sur des partitions r\u00e9cursives s’effondrent souvent en de simples constantes asymptotiques.<\/p>\n

Dans un mod\u00e8le lin\u00e9aire interpr\u00e9table, les param\u00e8tres estim\u00e9s $\\hat{w}_j$<\/span> rev\u00eatent une signification scientifique univoque : ils traduisent le taux de variation marginale de la variable d\u00e9pendante induit par l’accroissement d’une unit\u00e9 de la $j$<\/span>-\u00e8me variable explicative, toutes choses \u00e9tant \u00e9gales par ailleurs (condition ceteris paribus<\/em>). Cette propri\u00e9t\u00e9 d’interpr\u00e9tabilit\u00e9 m\u00e9trique directe conf\u00e8re \u00e0 la r\u00e9gression une valeur explicative et causale inestimable dans les protocoles de recherche exp\u00e9rimentaux, permettant de valider ou d’infirmer des th\u00e9ories formelles relatives aux relations structurales unissant les ph\u00e9nom\u00e8nes naturels.<\/p>\n

3. Comprendre la classification : Structuration et cat\u00e9gorisation des donn\u00e9es<\/h2>\n

3.1 D\u00e9finition formelle du paradigme de classification<\/h3>\n

Le paradigme de la classification statistique<\/a> vise \u00e0 partitionner l’espace vectoriel des descripteurs $\\mathcal{X} \\subset \\mathbb{R}^d$<\/span> en un ensemble fini de $K$<\/span> r\u00e9gions de d\u00e9cision mutuellement exclusives et collectivement exhaustives, d\u00e9sign\u00e9es par $\\mathcal{R}_1, \\mathcal{R}_2, dots, \\mathcal{R}_K$<\/span>, de telle sorte que :<\/p>\n

$$\\big\\cup_{k=1}^K \\mathcal{R}_k = \\mathcal{X} \\quad \\text{a\\vec} \\quad \\mathcal{R}_j \\cap \\mathcal{R}_k = \\emptyset \\quad \\forall j \\neq k$$<\/span><\/p>\n

\u00c0 chaque r\u00e9gion $\\mathcal{R}_k$<\/span> est associ\u00e9e une \u00e9tiquette discr\u00e8te d’appartenance cat\u00e9gorielle $c_k in \\mathcal{Y}$<\/span>. La fonction de d\u00e9cision $f : \\mathcal{X} \\rightarrow \\mathcal{Y}$<\/span> agit comme un op\u00e9rateur d’assignation qui projette tout vecteur d’entr\u00e9e $x$<\/span> dans l’un de ces sous-espaces. La fronti\u00e8re s\u00e9parant deux r\u00e9gions contigu\u00ebs $\\mathcal{R}_j$<\/span> et $\\mathcal{R}_k$<\/span> est appel\u00e9e fronti\u00e8re de d\u00e9cision (decision boundary) ; elle est math\u00e9matiquement d\u00e9finie par le lieu g\u00e9om\u00e9trique des points $x$<\/span> pour lesquels le mod\u00e8le pr\u00e9sente une ind\u00e9cision totale d’attribution entre la classe $j$<\/span> et la classe $k$<\/span>.<\/p>\n

\"Regression
Regression vs classification machine learning algorithms<\/figcaption><\/figure>\n

Selon l’architecture mise en \u0153uvre, cette fronti\u00e8re de d\u00e9cision peut prendre la forme d’un hyperplan lin\u00e9aire simple, d’une fronti\u00e8re quadratique, ou d’une hypersurface hautement non lin\u00e9aire et fragment\u00e9e, fa\u00e7onn\u00e9e par des s\u00e9parateurs \u00e0 vaste marge ou des pavages d’arbres d\u00e9cisionnels. Dans les approches dites probabilistes, le classificateur ne d\u00e9livre pas directement une \u00e9tiquette dure, mais produit pr\u00e9alablement un vecteur stochastique mod\u00e9lisant la distribution conditionnelle a posteriori :<\/p>\n

$$P(Y = c_k mid X = x) \\quad \\text{a\\vec} \\quad \\sum_{k=1}^K P(Y = c_k mid X = x) = 1$$<\/span><\/p>\n

L’assignation finale \u00e0 une classe rel\u00e8ve alors d’une r\u00e8gle de d\u00e9cision d\u00e9terministe, usuellement la r\u00e8gle du maximum a posteriori (MAP) : $\\hat{y} = arg\\max_{k} P(Y = c_k mid X = x)$<\/span>.<\/p>\n

Sur le plan de l’optimisation, la mesure naturelle de l’erreur en classification est la perte z\u00e9ro-un (zero-one loss), d\u00e9finie par $L_{0-1}(f(x), y) = \\mathbb{I}(f(x) \\neq y)$<\/span>, valant 0 si l’\u00e9tiquette est correctement pr\u00e9dite et 1 dans le cas contraire. Malheureusement, la fonction de perte z\u00e9ro-un est non diff\u00e9rentiable et non convexe, rendant sa minimisation globale sur un \u00e9chantillon d’apprentissage NP-difficile. Pour contourner cet obstacle calculatoire, la th\u00e9orie de l’apprentissage statistique recourt \u00e0 des pertes substitutives convexes et diff\u00e9rentiables (surrogate losses), telles que la log-vraisemblance n\u00e9gative (entropie crois\u00e9e), la perte charni\u00e8re (hinge loss) des machines \u00e0 vecteurs de support, ou la perte exponentielle mobilis\u00e9e dans les algorithmes d’AdaBoost.<\/p>\n

3.2 Typologies des t\u00e2ches de classification<\/h3>\n

L’organisation des probl\u00e8mes de classification se structure en plusieurs configurations canoniques selon la cardinalit\u00e9 et les propri\u00e9t\u00e9s fonctionnelles de l’espace d’arriv\u00e9e $\\mathcal{Y}$<\/span>.<\/p>\n