Dans le champ de la psychologie quantitative et de l’analyse des données comportementales, l’identification de la combinaison optimale de prédicteurs constitue un défi méthodologique fondamental pour garantir la robustesse des modèles prédictifs. La régression par tous les sous-ensembles possibles s’impose comme une stratégie d’exploration exhaustive qui permet aux chercheurs d’évaluer chaque spécification théorique concevable afin de concilier parcimonie explicative et puissance statistique.
Régression par tous les sous-ensembles possibles
1. Définition concise
La régression par tous les sous-ensembles possibles (en anglais, all-possible-subsets regression ou exhaustive search regression) est une procédure statistique de sélection de variables qui consiste à ajuster et à comparer systématiquement l’ensemble des modèles de régression linéaires ou non linéaires concevables à partir d’un ensemble de $k$ variables explicatives candidates. Pour un nombre donné de $k$ prédicteurs, cette approche évalue l’intégralité des $2^k$ combinaisons mathématiquement possibles, incluant le modèle nul sans prédicteur jusqu’au modèle saturé comportant la totalité des variables disponibles.
Dans le domaine de la recherche psychologique et des sciences du comportement, cette méthode vise à identifier le sous-ensemble de variables indépendantes qui maximise la précision prédictive tout en minimisant l’erreur d’estimation et la complexité structurelle. Contrairement aux méthodes pas à pas séquentielles (telles que la sélection ascendante ou descendante), elle garantit qu’aucune combinaison de prédicteurs potentiellement optimale n’est omise en raison d’un ordre d’entrée arbitraire.
Cette approche repose sur l’arbitrage entre le biais et la variance, fournissant aux psychométristes et aux chercheurs des critères d’information rigoureux pour sélectionner le modèle le plus parcimonieux, généralisable et théoriquement défendable pour décrire un construit psychologique complexe tel que le bien-être subjectif, les performances cognitives ou l’adhésion thérapeutique.
2. Étymologie et origines linguistiques
Le terme « régression » dérive du latin regressio, signifiant « action de revenir en arrière » ou « retour », issu du verbe regredi (composé du préfixe re-, en arrière, et gradi, marcher ou avancer). Ce vocable a été introduit dans le vocabulaire statistique par Sir Francis Galton à la fin du XIXe siècle dans ses travaux sur l’hérédité humaine, où il observait le phénomène de « régression vers la moyenne » des traits physiques et psychologiques mesurés chez les descendants par rapport à leurs ascendants.
Le syntagme « sous-ensemble » provient de la théorie mathématique des ensembles formalisée au tournant du XXe siècle, associant la préposition latine sub (sous, en dessous de) au terme « ensemble » (issu du bas latin insimul, signifiant « en même temps » ou « de concert »). En mathématiques pures, un sous-ensemble désigne toute collection d’éléments appartenant intégralement à une collection parente de référence.
L’expression anglo-saxonne d’origine, all-possible-subsets regression, a été formulée dans les années 1960 et 1970 au sein de la littérature biométrique et économétrique américaine, notamment avec les développements pionniers des algorithmes de calcul matriciel par ordinateurs programmables. En français, la traduction académique oscille entre « régression par tous les sous-ensembles », « sélection exhaustive de modèles » et « régression combinatoire intégrale », chaque variante insistant sur le principe d’exhaustivité mathématique sans élagage préalable.
3. Prononciation et forme grammaticale
Sur le plan morphologique et grammatical, « régression par tous les sous-ensembles possibles » est un syntagme nominal complexe, féminin et singulier pour le noyau (« la régression »), enrichi d’un complément du nom prépositionnel pluriel (« par tous les sous-ensembles possibles »). Sa transcription phonétique en français standard international est la suivante : /ʁe.ɡʁe.sjɔ̃ paʁ tu le su.z‿ɑ̃.sɑ̃bl pɔ.sibl/.
En contexte académique, le terme s’emploie principalement comme sujet ou complément d’objet indirect dans les sections méthodologiques : « Nous avons procédé à une régression par tous les sous-ensembles afin de départager les facettes de la personnalité ». On rencontre fréquemment l’ellipse métonymique « analyse par tous les sous-ensembles » ou l’anglicisme technique « régression exhaustive sous-jacente ».
Il convient de noter l’accord systématique au pluriel du déterminant indéfini et de l’adjectif (« tous les sous-ensembles possibles »), soulignant la pluralité inhérente aux espaces combinatoires considérés, par opposition à une régression simple ou multivariée conventionnelle qui n’examine qu’une unique spécification de l’équation générale.
4. Explication conceptuelle détaillée
Le principe fondamental de la régression par tous les sous-ensembles repose sur une démarche de recherche globale non séquentielle. Dans l’analyse de régression multiple traditionnelle, lorsqu’un chercheur dispose d’une variable critère continue $Y$ et d’un réservoir de prédicteurs $X_1, X_2, dots, X_k$, la question se pose de savoir quelles variables inclure pour obtenir le meilleur compromis entre ajustement statistique et parcimonie. Tandis que les approches subjectives reposent sur l’intuition ou des hypothèses théoriques strictes, et que les méthodes pas à pas automatisées explorent l’espace de manière myope pas à pas, la régression par tous les sous-ensembles calcule chaque modèle univarié, bivarié, trivarié jusqu’au modèle saturé complet.
Mathématiquement, le nombre total d’équations estimées correspond à l’ensemble des parties d’un ensemble à $k$ éléments, soit :
$$\sum_{j=0}^{k} inom{k}{j} = 2^k$$
Si l’on écarte le modèle sans constante ou le modèle nul ne comportant que l’intercept ($j=0$), le nombre de modèles substantiels comportant au moins une variable explicative s’élève à $2^k – 1$. Pour un ensemble restreint de 4 variables, le chercheur évalue 16 modèles ; pour 10 variables, ce nombre atteint 1 024 modèles ; pour 20 variables, l’algorithme doit estimer 1 048 576 combinaisons distinctes. Cette progression exponentielle représente l’essence de la puissance analytique de la technique, mais également sa contrainte opérationnelle majeure liée à la complexité algorithmique.
Le cœur de l’explication conceptuelle réside dans la comparaison des modèles de tailles identiques et différentes. Pour chaque sous-ensemble de taille $m$ (où $1 le m le k$), l’analyste identifie d’abord le meilleur modèle local selon la proportion de variance expliquée (mesurée par le coefficient de détermination usuel $R^2$ ou la somme des carrés des résidus). Cependant, comme le $R^2$ brut augmente mécaniquement à chaque ajout de variable, la comparaison transdimensionnelle entre modèles de tailles différentes requiert des critères pénalisant la surcharge paramétrique, tels que le $R^2$ ajusté, le critère $C_p$ de Mallows, le critère d’information d’Akaike (