Capitalisation sur le hasard : Le piège de l’échantillon

Dans le domaine des sciences psychologiques, de la psychométrie et de l’analyse multivariée, la validité des conclusions empiriques repose sur la capacité d’un modèle statistique à refléter de véritables régularités de la population plutôt que des artéfacts d’observation. La capitalisation sur le hasard constitue l’un des écueils méthodologiques les plus insidieux et les plus répandus, responsable direct de nombreuses crises de réplication à travers l’histoire de la psychologie expérimentale et différentielle. Ce phénomène survient lorsqu’une procédure analytique ou une sélection de variables optimise de manière artificielle ses paramètres en s’ajustant aux fluctuations aléatoires et aux bruits d’échantillonnage propres à un jeu de données spécifique.

Capitalisation sur le hasard

1. Définition concise

La capitalisation sur le hasard désigne le phénomène statistique par lequel un algorithme d’optimisation, un modèle d’estimation ou un chercheur exploite involontairement les erreurs d’échantillonnage aléatoires propres à un échantillon donné, produisant une estimation exagérément optimiste de l’ajustement du modèle, de la taille d’effet ou du pouvoir prédictif. Ce gain de performance artificiel s’évanouit inévitablement dès lors que le modèle est appliqué à un nouvel échantillon indépendant tiré de la même population.

Dans le contexte psychologique et psychométrique, cette distorsion se manifeste fréquemment lors de la sélection empirique d’items dans un questionnaire, de la régression linéaire pas à pas (stepwise regression), de l’analyse factorielle exploratoire sans validation croisée, ou encore de la détection de sous-groupes cliniques post-hoc. L’algorithme mathématique ne faisant aucune distinction entre la variance systématique (le véritable signal théorique) et la variance résiduelle aléatoire (le bruit stochastique), il traite les coïncidences numériques locales comme des lois psychologiques générales, conduisant à une surévaluation dramatique de la validité interne au détriment direct de la validité externe.

2. Étymologie et origine linguistique

L’expression française « capitalisation sur le hasard » est le calque linguistique direct de la locution anglo-saxonne capitalization on chance, largement popularisée dans la littérature psychométrique et statistique nord-américaine au cours du XXe siècle. Le verbe « capitaliser » dérive du bas latin capitale, substantif neutre de l’adjectif capitalis (« relatif à la tête », puis « principal »), qui a pris dans le vocabulaire financier et économique le sens de tirer avantage ou d’accumuler des profits à partir d’une ressource initiale.

Le terme « hasard », quant à lui, est emprunté à l’arabe classique az-zahr (le dé à jouer), passé en français par l’intermédiaire de l’espagnol au cours des croisades et du commerce méditerranéen, désignant une circonstance imprévue ou un jeu de probabilités. Dans la formule scientifique, le mot désigne spécifiquement la variance d’échantillonnage stochastique. L’expression traduit ainsi métaphoriquement la manière dont une procédure mathématique « spécule » indûment sur les irrégularités fortuites de l’échantillon pour afficher un rendement prédictif fallacieux, s’enrichissant statistiquement d’une illusion probabiliste.

3. Prononciation et forme grammaticale

Sur le plan phonétique, la locution se transcrit [ka.pi.ta.li.za.sjɔ̃ syʁ lə a.zaʁ]. Le mot « hasard » débutant par un « h » aspiré, il prohibe formellement la liaison avec l’article défini (on prononce distinctement « le hasard » sans élision ni liaison en [z]).

Du point de vue grammatical, il s’agit d’un syntagme nominal féminin invariable quant à sa fonction conceptuelle, bien que le nom « hasard » puisse théoriquement être pluralisé si l’on décrivait de multiples processus aléatoires distincts. On l’utilise généralement en position de complément d’objet direct ou de sujet circonstanciel au sein de phrases méthodologiques, par exemple : « Les régressions pas à pas favorisent la capitalisation sur le hasard » ou « Ce modèle psychométrique souffre d’une forte capitalisation sur le hasard ».

4. Explication conceptuelle détaillée

Pour appréhender la mécanique intime de la capitalisation sur le hasard, il convient de décomposer la variance observée au sein de tout ensemble de données psychologiques en deux composantes fondamentales : la composante déterministe ou systématique (le paramètre de population que la recherche tente de quantifier) et la composante d’erreur (les fluctuations d’échantillonnage, erreurs de mesure et artéfacts contextuels). Tout échantillon fini, par nature incomplet, présente des corrélations fortuites entre variables qui n’existent pas dans la population parente. Lorsqu’une méthode d’estimation statistique recherche la meilleure configuration possible — qu’il s’agisse de maximiser le coefficient de détermination multivarié ($R^2$), d’isoler des facteurs orthogonaux dominants ou d’extraire les items d’une échelle ayant les plus fortes corrélations point-bisérial — elle examine des centaines, voire des milliers d’associations potentielles.

Parmi cette constellation d’associations, certaines corrélations sont positives ou particulièrement élevées uniquement sous l’effet du bruit aléatoire propre à cet échantillon. L’algorithme, guidé par un critère purement mathématique d’optimisation sans connaissance théorique du domaine sous-jacent, incorpore avidement ces corrélations fortuites. Les coefficients calculés s’ajustent alors aux particularités non reproductibles des données disponibles. En conséquence, les estimations résultantes ne reflètent plus seulement les dynamiques psychologiques réelles, mais également le profil acoustique unique du « bruit » de l’échantillon étudié.

La conséquence immédiate de cette sur-optimisation est le phénomène bien documenté de « shrinkage » ou d’attrition de la validité : lorsqu’on applique l’équation ou la structure obtenue à un nouvel échantillon d’individus, les corrélations aléatoires qui avaient dopé les performances initiales disparaissent, changent de direction ou s’annulent. La précision globale du modèle s’effondre de manière drastique. Plus le ratio entre le nombre de variables examinées et le nombre d’observations empiriques est élevé, plus le risque et l’ampleur de la capitalisation sur le hasard deviennent massifs.

En outre, ce piège méthodologique brouille les frontières entre statistiques inductives et statistiques déductives. Lorsqu’un chercheur utilise les mêmes données pour formuler une hypothèse statistique (par exemple en inspectant une matrice de corrélation exploratoire) et pour tester cette même hypothèse à l’aide de tests d’inférence classiques, les postulats probabilistes fondamentaux (comme la distribution sous l’hypothèse nulle $H_0$) sont irrémédiablement faussés. Le seuil conventionnel de significativité $lpha = 0{,}05$ devient une chimère, car le taux d’erreur de première espèce effectif s’envole souvent vers des valeurs dépassant $0{,}50$ ou $0{,}80$, générant ainsi une prolifération de faux positifs dans la littérature scientifique.

5. Développement historique

La prise de conscience du problème de la capitalisation sur le hasard remonte aux premières décennies du développement de la statistique appliquée et de la psychométrie au XXe siècle. Dès les années 1920 et 1930, avec les travaux pionniers de pionniers de la régression comme Karl Pearson et Charles Spearman, les méthodologistes ont constaté que les régressions multiples donnaient presque systématiquement des corrélations plus élevées sur l’échantillon de dérivation que lors des essais ultérieurs.

En 1931, le statisticien Robert J. Wherry propose l’une des premières formules mathématiques de correction du coefficient de corrélation multiple afin de compenser le biais optimiste induit par le nombre de régresseurs rapporté au nombre de sujets. Cette avancée posait les bases du concept moderne de coefficient de détermination ajusté ($R^2$ ajusté), destiné à pénaliser l’introduction aveugle de prédicteurs additionnels. Parallèlement, Harold Hotelling soulignait les dangers inhérents aux sélections empiriques de covariables dans les modèles multivariés.

Durant l’après-Seconde Guerre mondiale, l’avènement des premiers ordinateurs dans les laboratoires de psychométrie universitaire a paradoxalement exacerbé le danger. La possibilité nouvelle d’exécuter des milliers de calculs matriciels en quelques secondes a mené à l’explosion des procédures automatisées, en particulier les méthodes de régression pas à pas (stepwise, forward, backward). En 1978, une publication de John Larson a rigoureusement démontré comment ces méthodes automatisées « capitalisaient » de façon spectaculaire sur les caprices des échantillons de petite taille, conduisant à des équations incapables de reproduire leurs prédictions.

À partir des années 1980 et 1990, des psychologues méthodologistes éminents tels que Jacob Cohen ont alerté l’ensemble de la communauté sur le manque de puissance statistique couplé à la surinterprétation d’analyses post-hoc non contrôlées. Le terme s’est progressivement installé au centre du débat méthodologique contemporain, notamment avec l’émergence de la science ouverte (Open Science), la crise de la réplicabilité des années 2010 et les travaux critiques de Brian Nosek et de John Ioannidis, démontrant que la capitalisation sur le hasard constitue l’un des mécanismes majeurs sous-tendant le biais de confirmation et le p-hacking.

6. Fondements théoriques

Le socle théorique de la capitalisation sur le hasard repose sur la théorie de l’échantillonnage probabiliste et la théorie classique des tests. Selon cette dernière, tout score observé $X$ est la résultante d’un score vrai $T$ et d’une composante d’erreur non corrélée $E$ :

$$X = T + E$$

Lorsque deux variables $X$ et $Y$ sont mesurées au sein d’un échantillon fini de taille $N$, la covariance observée reflète à la fois la covariance réelle entre les attributs latents et le produit fortuit des termes d’erreur. Si la population générale présente une indépendance stricte entre deux traits psychologiques (covariance nulle), la distribution de l’échantillonnage garantit néanmoins que la corrélation empirique dans un sous-groupe fluctuera autour de zéro selon une loi normale standardisée par l’erreur type $1 / \sqrt{N – 1}$.

Dès lors qu’une règle de décision examine une pluralité de variables candidates pour ne retenir que celles affichant une liaison maximale avec un critère, elle viole les postulats de la théorie probabiliste classique en procédant à un échantillonnage fondé sur les extrêmes de la distribution d’échantillonnage. En termes statistiques rigoureux, la distribution du maximum d’un ensemble de variables aléatoires ne suit plus une loi normale ou une loi de Student, mais une loi de valeurs extrêmes. Les tests statistiques usuels, ignorant ce conditionnement préalable, continuent d’utiliser des lois de référence inadéquates, provoquant une distorsion théorique sévère.

Par ailleurs, la théorie moderne de l’apprentissage statistique formalise ce phénomène à travers le dilemme du compromis biais-variance (bias-variance tradeoff) et le concept de surapprentissage (overfitting). Un modèle hautement flexible doté de nombreux degrés de liberté s’adapte parfaitement à l’échantillon d’apprentissage (minimisant le biais au sein de cet échantillon), mais acquiert une variance d’estimation colossale, rendant son erreur de généralisation catastrophique lorsqu’il est confronté à une nouvelle distribution de données tirée de la même population cible.

7. Composantes clés, typologies et dimensions

La capitalisation sur le hasard s’infiltre dans divers segments de la démarche quantitative à travers des dynamiques structurelles distinctes. On distingue couramment plusieurs dimensions et typologies :

• Capitalisation par sélection de variables (régression exploratoire) : Survenue lors de l’utilisation d’algorithmes séquentiels (pas à pas ascendant ou descendant). Le modèle extrait préférentiellement les variables dont l’erreur d’échantillonnage va dans le même sens que l’effet recherché, maximisant artificiellement le coefficient de corrélation multiple au détriment des variables réellement prédictives au niveau populationnel.
• Capitalisation en construction d’échelles psychométriques : Pratique consistant à tester un très grand vivier initial d’items (ex. 150 propositions) pour n’en retenir qu’un sous-ensemble réduit (ex. 20 items) sur la base exclusive des corrélations item-total les plus fortes observées sur un seul échantillon. Les indices de cohérence interne résultants (comme l’alpha de Cronbach) sont systématiquement surestimés.
• Capitalisation par optimisation de structure factorielle : Modification répétée et itérative de la structure d’une analyse factorielle confirmatoire (AFC) à l’aide des indices de modification de Lagrange jusqu’à obtenir un ajustement jugé acceptable (ex. RMSEA, CFI). Ces modifications intègrent les résidus accidentels plutôt que des relations sémantiques ou psychologiques stables.
• Capitalisation par partitionnement de données et sous-groupes post-hoc : Identification rétrospective de sous-populations cliniques ou démographiques (ex. femmes de 25 à 30 ans avec un trait d’anxiété spécifique) présentant un effet significatif après qu’une analyse sur l’échantillon global s’est révélée non concluante. Cette recherche de sous-groupes exploite les fluctuations locales de données fractionnées.
• Capitalisation par flexibilité analytique (les degrés de liberté du chercheur) : Tendance consciente ou inconsciente à essayer de multiples transformations de données, découpages d’échelles ou stratégies de traitement des valeurs aberrantes jusqu’à ce qu’un résultat statistically significant émerge sous le seuil critique habituel.

8. Exemples et cas illustratifs

Pour illustrer concrètement les ravages de la capitalisation sur le hasard, considérons le développement d’un test psychométrique destiné à prédire la réussite académique à l’université. Une équipe de chercheurs élabore 100 items expérimentaux mesurant divers aspects des habitudes d’étude, de la personnalité et de la motivation. Ils administrent ce protocole à un échantillon de convenance de 80 étudiants de première année. En calculant les corrélations bivariées entre chaque item et la moyenne semestrielle des notes, les chercheurs identifient 10 items présentant une valeur $p < 0{,}05$.

En combinant ces 10 items dans un score composite, ils obtiennent une corrélation globale spectaculaire de $r = 0{,}68$ avec la réussite universitaire. Forts de ce succès apparent, ils affirment avoir conçu un outil d’évaluation hautement prédictif. Cependant, si les 100 items originaux avaient été constitués de séquences de nombres aléatoires sans aucun lien avec la psychologie, les lois fondamentales des probabilités indiquent qu’environ 5 de ces variables auraient mathématiquement dépassé le seuil de $p < 0{,}05$ par simple hasard d’échantillonnage. En sélectionnant rétrospectivement les 10 meilleures liaisons parmi 100 sur un échantillon aussi restreint ($N = 80$), l’équipe n’a mesuré que du vent stochastique. Lors de l’administration du test à une nouvelle cohorte d’étudiants l’année suivante, la corrélation s’effondre à $r = 0{,}04$, rendant l’instrument totalement inopérant en milieu réel.

Un autre cas paradigmatique concerne l’évaluation neuropsychologique et l’imagerie fonctionnelle cérébrale (IRMf). Dans une étude restée célèbre dans les annales de la méthode expérimentale, Craig Bennett et ses collaborateurs (2009) ont placé un saumon atlantique mort dans un scanner IRMf et lui ont présenté une tâche de perspective sociale. En analysant les données voxel par voxel sans corriger pour la multiplicité des comparaisons statistiques, les algorithmes ont mis en évidence plusieurs « grappes d’activation cérébrale active » dans le crâne du poisson décédé. Ce résultat spectaculaire et absurde illustre à l’extrême comment le traitement de dizaines de milliers de variables simultanées, sans précaution méthodologique, capitalise obligatoirement sur les variations aléatoires de fond du signal thermique et électronique.

9. Mesure, détection et évaluation

La mise en évidence de la capitalisation sur le hasard ne peut s’effectuer par la simple inspection des indicateurs d’ajustement traditionnels sur l’échantillon de départ, car ces derniers sont précisément ceux qui sont artificiellement gonflés. Les méthodologistes ont développé un arsenal de techniques quantitatives pour évaluer son ampleur et la neutraliser :

• Validation croisée (Cross-Validation) et division d’échantillon : L’approche classique consiste à scinder aléatoirement l’échantillon initial en un ensemble de calibrage ou d’entraînement (training set) et un ensemble de validation ou de test (test set). Le modèle est estimé exclusivement sur le premier, puis sa validité prédictive est mesurée sur le second. La différence entre le coefficient $R^2$ d’entraînement et le $R^2$ de test quantifie exactement la perte d’ajustement (shrinkage) attribuable à la capitalisation sur le hasard.
• Validation croisée par blocs (k-fold cross-validation) : Les données sont divisées en $k$ sous-ensembles. Le modèle est entraîné sur $k-1$ sous-ensembles et testé sur le volet résiduel, le processus étant répété $k$ fois. Cela fournit une estimation non biaisée de la variance d’erreur attendue en population réelle.
• Méthodes de rééchantillonnage par bootstrap : En générant des milliers de pseudo-échantillons par tirage avec remise à partir du jeu original, le chercheur observe la stabilité des paramètres retenus. Si les variables sélectionnées dans un modèle changent à presque chaque itération de rééchantillonnage, la capitalisation sur le hasard est manifeste et le modèle initial doit être rejeté comme instable.
• Formules analytiques de rétrécissement (Shrinkage formulas) : Des estimateurs mathématiques comme ceux de Wherry, Browne ou Stein fournissent une estimation corrigée de la corrélation de population attendue sans nécessiter de second échantillon matériel. Ces formules appliquent une décote sévère lorsque le ratio sujets/variables est défavorable.

10. Applications et portée pratique

La compréhension de la capitalisation sur le hasard est critique dans tous les secteurs d’application de la psychologie, où des décisions concrètes touchant des vies humaines dépendent des métriques d’évaluation.

En psychologie du travail et des organisations, les cabinets de recrutement et services de ressources humaines utilisent des algorithmes prédictifs pour filtrer les candidats à partir de batteries de tests de compétences, de motivation et de profils de personnalité. Si un modèle de sélection prédictif a été ajusté sur un échantillon d’employés restreint en capitalisant sur le hasard, l’entreprise sélectionnera des profils sur des critères chimériques, écartant injustement des candidats compétents tout en engageant des investissements stériles dans des batteries d’évaluation non reproductibles.

En psychologie clinique et en psychiatrie, la découverte de marqueurs prédictifs de la réponse thérapeutique (par exemple, déterminer quel profil psychopathologique répondra favorablement à une thérapie cognitivo-comportementale plutôt qu’à une intervention pharmacologique) est hautement vulnérable à ce biais. Des centaines d’indicateurs biologiques, comportementaux et anamnestiques sont régulièrement croisés avec les taux de rémission. La capitalisation sur le hasard a mené à la publication d’une quantité impressionnante de prétendus biomarqueurs ou profils psychométriques différentiels qui ont totalement échoué à apporter un quelconque bénéfice lors des essais cliniques randomisés confirmatoires ultérieurs.

En évaluation éducative, la sélection d’items pour des examens nationaux ou des tests d’admission standardisés doit garantir une invariance stricte de mesure d’une année sur l’autre. Une échelle dont les propriétés psychométriques reposent sur une capitalisation fortuite subira une perte de fidélité dès son déploiement à large échelle, compromettant l’équité diagnostique des élèves évalués.

11. Recherches et preuves empiriques

De nombreux travaux empiriques de premier plan ont systématiquement quantifié la prévalence et la sévérité de ce phénomène au sein des publications académiques. L’une des démonstrations les plus influentes de la littérature psychologique a été conduite par Tal Yarkoni et Jacob Westfall (2017) dans leur article programmatique sur le problème de l’ajustement excessif dans la recherche psychologique. Les auteurs ont examiné des centaines d’études quantitatives et ont démontré que la quasi-totalité des modèles statistiques publiés présentaient un pouvoir explicatif in-sample (au sein de l’échantillon) très supérieur à leur performance out-of-sample (hors échantillon), précisément en raison d’une capitalisation non maîtrisée sur les bruits stochastiques.

Dans le domaine de la psychométrie appliquée, Thompson (1995) a réalisé des simulations exhaustives démontrant que les structures issues d’analyses factorielles exploratoires conduites avec des échantillons de petite taille ($N < 150$) et un grand nombre d’items ne parviennent pas à être répliquées dans plus de 70 % des cas. Ces résultats soulignent que ce qui était interprété par les chercheurs comme de nouveaux traits de personnalité ou de nouvelles composantes affectives n’était que l’empreinte mathématique d’un artefact d’échantillonnage.

Plus récemment, les projets de réplication collaborative à grande échelle, tels que le projet Reproducibility Project: Psychology orchestré par le Center for Open Science en 2015, ont documenté une chute moyenne de la taille de l’effet d’environ 50 % entre les résultats des publications princeps et ceux des réplications indépendantes rigoureusement calibrées. Cette déflation systématique de la puissance d’effet constitue la preuve grandeur nature de l’omniprésence historique de la capitalisation sur le hasard au sein des revues scientifiques indexées à comité de lecture.

12. Considérations culturelles et transcontextuelles

La capitalisation sur le hasard entretient des liens profonds avec les questions de validité interculturelle et de généralisation internationale des outils psychologiques. Lorsqu’une échelle de mesure (par exemple, un inventaire d’évaluation du bien-être ou des symptômes dépressifs) est élaborée et étalonnée exclusivement sur un échantillon d’individus issus de populations occidentales, éduquées, industrialisées, riches et démocratiques (dites populations WEIRD), les chercheurs effectuent souvent un élagage d’items guidé par la maximisation statistique de la consistance interne locale.

Ce processus non seulement capitalise sur le hasard propre à l’échantillon d’étudiants nord-américains ou européens interrogés, mais il élimine des items qui auraient pu capturer des expressions émotionnelles ou comportementales universelles au profit de nuances idiosyncrasiques purement locales. Lorsque cet instrument est ensuite traduit et adapté dans une culture collectiviste ou non occidentale, le modèle s’effondre non seulement en raison des divergences culturelles réelles, mais également parce que les liaisons mathématiques initialement sur-optimisées se dissolvent dans un contexte d’échantillonnage différent.

Il est donc impératif, dans les études transculturelles, d’exiger des analyses factorielles confirmatoires multi-groupes (MGCFA) testant l’invariance métrique et scalaire stricte, afin de garantir que les associations observées reflètent des invariants psychologiques universels plutôt que des reliquats de capitalisation stochastique produits par le pays d’origine du test.

13. Critiques, controverses et limites

Si la communauté méthodologique s’accorde universellement sur la nocivité de la capitalisation sur le hasard lorsqu’elle est dissimulée ou ignorée, un débat intellectuel vivace subsiste quant aux remèdes à appliquer sans étouffer la démarche exploratoire et la créativité scientifique.

D’un côté, les partisans d’une régulation méthodologique intransigeante, inspirés par les mouvements d’accès libre et de transparence statistique, prônent l’enregistrement préalable obligatoire de tous les plans d’analyse (préenregistrement). Selon cette perspective, dès lors qu’un chercheur manipule un jeu de données sans hypothèse strictement posée en amont, toute découverte doit être considérée comme compromise par la capitalisation sur le hasard jusqu’à validation sur un échantillon neuf totalement indépendant. Les régressions exploratoires ou les ajustements post-hoc de modèles structuraux devraient, dans cette optique, être bannis des conclusions déductives.

D’un autre côté, certains statisticiens et épistémologues modèrent cette vision binaire. Ils soulignent qu’une aversion absolue pour le risque de capitalisation risque de paralyser la découverte de patterns subtils et inattendus dans des jeux de données complexes et massifs (Big Data, neuroimagerie computationnelle, génomique comportementale). Selon ces auteurs, la phase exploratoire est essentielle au progrès des sciences de l’esprit, à condition que le chercheur qualifie honnêtement sa démarche comme génératrice d’hypothèses et non comme validatoire, et qu’il applique systématiquement des méthodes d’apprentissage machine intégrant une pénalisation structurelle (comme la régression Ridge ou le Lasso) explicitement conçues pour neutraliser le surapprentissage sans bloquer l’exploration empirique.

14. Termes connexes et distinctions conceptuelles

La littérature scientifique utilise plusieurs concepts voisins qui, bien qu’étroitement intriqués avec la capitalisation sur le hasard, renvoient à des mécanismes distincts :

• Surapprentissage (Overfitting) : Terme générique issu de l’apprentissage automatique (machine learning). Il décrit la situation où un modèle trop complexe colle de trop près aux données d’entraînement. La capitalisation sur le hasard est le mécanisme stochastique précis qui engendre le surapprentissage lorsque ce dernier provient des fluctuations d’échantillonnage de petit effectif.
• Biais de confirmation et p-hacking : Désignent les décisions délibérées ou motivées du chercheur visant à manipuler les analyses pour franchir le seuil fatidique de $p < 0{,}05$. La capitalisation sur le hasard, en revanche, est une propriété purement mathématique et passive des algorithmes d’optimisation confrontés au bruit, bien qu’elle soit activement exploitée lors du p-hacking.
• Attrition de la validité (Shrinkage) : Phénomène résultant de la capitalisation sur le hasard. Le shrinkage représente la baisse effective de la corrélation ou de la précision lorsqu’un modèle optimisé sur un premier échantillon est éprouvé sur un échantillon distinct.
• Problème des comparaisons multiples (Multiple Comparisons Problem) : Problème d’inflation du taux d’erreur de première espèce ($lpha$) lors de l’exécution simultanée d’un grand nombre de tests d’hypothèses. Alors que la correction des comparaisons multiples (par exemple par la méthode de Bonferroni) s’intéresse au contrôle du taux global de faux positifs, la capitalisation sur le hasard renvoie spécifiquement au fait de construire une estimation de prédiction ou de mesure en intégrant ces faux signaux.

15. Synthèse et points clés à retenir

La capitalisation sur le hasard représente l’une des sources d’illusion épistémologique les plus puissantes au sein des sciences quantitatives et psychologiques. Elle rappelle constamment à la communauté scientifique que les chiffres observés au sein d’une étude particulière ne représentent jamais une copie immaculée de la réalité psychique, mais une superposition indissociable de lois de population et d’accidents probabilistes transitoires.

Pour prémunir les sciences psychologiques contre ce piège, les pratiques de recherche exigent désormais l’adoption systématique de protocoles méthodologiques rigoureux : calculs de puissance a priori pour garantir des échantillons larges, préenregistrement strict des plans analytiques, interdiction des algorithmes de sélection automatique aveugles en psychométrie, utilisation systématique d’échantillons de validation croisée indépendants et application de pénalisations statistiques régularisatrices. Ce n’est qu’au prix d’une vigilance méthodologique sans faille que la psychologie quantitative peut garantir que ses modèles décrivent fidèlement la structure universelle de l’esprit humain plutôt que l’écho statistique d’un hasard d’échantillonnage.

Références

• Bennett, C. M., Miller, M. B., & Wolford, G. L. (2009). Neural correlates of interspecies perspective taking in the post-mortem Atlantic Salmon: An argument for multiple comparisons correction. NeuroImage, 47(Suppl 1), S125. https://doi.org/10.1016/S1053-8119(09)71202-9
• Cohen, J. (1994). The earth is round ($p < .05$). American Psychologist, 49(12), 997–1003. https://doi.org/10.1037/0003-066X.49.12.997
• Larson, J. R. (1978). Thirty-five years of using the cross-validation technique: What has it yielded? Methodological and Statistical Issues, 85(4), 488–496. https://doi.org/10.1037/0033-2909.85.4.488
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
• Thompson, B. (1995). Exploring the replicability of factor structures: A simulation study of capitalization on chance in exploratory factor analysis. Educational and Psychological Measurement, 55(4), 586–594. https://doi.org/10.1177/0013164495055004005
• Wherry, R. J. (1931). A new formula for predicting the shrinkage of the coefficient of multiple correlation. Annals of Mathematical Statistics, 2(4), 440–457. https://doi.org/10.1214/aoms/1177732951
• Yarkoni, T., & Westfall, J. (2017). Choosing prediction over explanation in psychology: An evaluation. Perspectives on Psychological Science, 12(6), 1100–1122. https://doi.org/10.1177/1745691617693393