{"id":7865,"date":"2026-09-17T00:30:31","date_gmt":"2026-09-17T00:30:31","guid":{"rendered":"http:\/\/french.arabpsychology.com\/experiments\/demonstration-psychologie-faux-positifs-p-hacking-simmons-nelson-simonsohn\/"},"modified":"2026-09-17T00:30:31","modified_gmt":"2026-09-17T00:30:31","slug":"demonstration-psychologie-faux-positifs-p-hacking-simmons-nelson-simonsohn","status":"publish","type":"psych_experiment","link":"https:\/\/french.arabpsychology.com\/?psych_experiment=demonstration-psychologie-faux-positifs-p-hacking-simmons-nelson-simonsohn","title":{"rendered":"La d\u00e9monstration de la psychologie des faux positifs (P-Hacking) – Joseph Simmons, Leif Nelson et Uri Simonsohn"},"content":{"rendered":"

L’histoire des sciences exp\u00e9rimentales est jalonn\u00e9e de moments de rupture o\u00f9 une discipline enti\u00e8re est contrainte de confronter la fragilit\u00e9 de ses fondations m\u00e9thodologiques. Dans le domaine des sciences psychologiques et du comportement, l’ann\u00e9e 2011 marque ind\u00e9niablement le point de bascule vers une remise en question syst\u00e9mique. Alors que la psychologie sociale et cognitive jouissait d’un prestige acad\u00e9mique consid\u00e9rable, port\u00e9e par des d\u00e9couvertes spectaculaires r\u00e9guli\u00e8rement relay\u00e9es par les m\u00e9dias grand public et les revues scientifiques de premier rang, un article bref mais d\u00e9vastateur est venu fissurer l’\u00e9difice empirique de la discipline. Intitul\u00e9 \u00ab False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant \u00bb<\/em>, ce manifeste m\u00e9thodologique r\u00e9dig\u00e9 par Joseph P. Simmons, Leif D. Nelson et Uri Simonsohn a r\u00e9v\u00e9l\u00e9 au grand jour l’ampleur d’une d\u00e9rive end\u00e9mique : le piratage de la valeur de significativit\u00e9 statistique, d\u00e9sormais universellement connu sous le n\u00e9ologisme de p-hacking<\/a>.<\/p>\n

Par une combinaison d’analyses th\u00e9oriques, de simulations computationnelles et d’une d\u00e9monstration empirique aussi provocatrice qu’irr\u00e9futable \u2014 prouvant qu’\u00e9couter une chanson des Beatles pouvait rajeunir chronologiquement des participants \u2014, les trois chercheurs n’ont pas simplement d\u00e9nonc\u00e9 une faille technique mineure. Ils ont formalis\u00e9 le concept des \u00ab degr\u00e9s de libert\u00e9 du chercheur \u00bb (researcher degrees of freedom<\/em>), d\u00e9montrant math\u00e9matiquement comment des ajustements statistiques apparemment anodins, effectu\u00e9s apr\u00e8s la collecte des donn\u00e9es, permettent de transformer le bruit stochastique en d\u00e9couvertes pr\u00e9tendument r\u00e9volutionnaires. Ce travail pionnier a agi comme le d\u00e9tonateur principal de ce que la communaut\u00e9 scientifique nomme aujourd’hui la crise de la reproductibilit\u00e9<\/a>, for\u00e7ant la refondation \u00e9pist\u00e9mologique des pratiques de recherche \u00e0 l’\u00e9chelle internationale.<\/p>\n

Comprendre la port\u00e9e intellectuelle et pratique de l’intervention de Simmons, Nelson et Simonsohn exige une analyse approfondie des m\u00e9canismes statistiques sous-jacents, de la sociologie de l’institution acad\u00e9mique de l’\u00e9poque et des r\u00e9formes structurelles qui en ont d\u00e9coul\u00e9. Cet article se propose d’examiner exhaustivement la gen\u00e8se de cette r\u00e9volution m\u00e9thodologique, de diss\u00e9quer l’anatomie de leur d\u00e9monstration exp\u00e9rimentale iconique, d’analyser l’impact des simulations de Monte-Carlo sur la quantification du risque d’erreur, et de retracer l’\u00e9mergence des contre-mesures contemporaines \u2014 du pr\u00e9-enregistrement obligatoire \u00e0 la m\u00e9thode de la p-curve<\/em> \u2014 qui red\u00e9finissent aujourd’hui les crit\u00e8res de validit\u00e9 du savoir scientifique.<\/p>\n

1. Contexte historique et gen\u00e8se de l’article fondateur de 2011<\/h2>\n

1.1 Le paysage de la recherche en psychologie au d\u00e9but des ann\u00e9es 2010<\/h3>\n

Au tournant des ann\u00e9es 2010, la psychologie scientifique \u00e9voluait dans un \u00e9cosyst\u00e8me domin\u00e9 par la culture imp\u00e9rieuse du \u00ab Publish or Perish \u00bb<\/em>. La trajectoire professionnelle des chercheurs, l’obtention de financements institutionnels et la titularisation universitaire d\u00e9pendaient quasi exclusivement du volume d’articles publi\u00e9s dans des revues \u00e0 fort facteur d’impact, telles que le Journal of Personality and Social Psychology<\/em> (JPSP) ou Psychological Science<\/em>. Dans ce contexte hyper-comp\u00e9titif, un biais structurel profond orientait le tri \u00e9ditorial : seules les soumissions rapportant des r\u00e9sultats novateurs, hautement contre-intuitifs et syst\u00e9matiquement assortis d’un seuil de significativit\u00e9 statistique canonique (p < 0,05) parvenaient \u00e0 franchir les barri\u00e8res de l’\u00e9valuation par les pairs. Les r\u00e9sultats nuls, les r\u00e9plications directes et les tentatives d’invalidation th\u00e9orique \u00e9taient syst\u00e9matiquement rel\u00e9gu\u00e9s aux tiroirs des laboratoires, un ph\u00e9nom\u00e8ne bien document\u00e9 sous le nom de biais de publication ou \u00ab probl\u00e8me du tiroir de classement \u00bb (file drawer problem<\/em>).<\/p>\n

Ce climat d’optimisme m\u00e9thodologique reposait sur une foi presque aveugle dans l’auto-correction naturelle du processus scientifique. Les chercheurs tenaient pour acquis que si un r\u00e9sultat publi\u00e9 s’av\u00e9rait inexact, le libre march\u00e9 des id\u00e9es acad\u00e9miques finirait par le corriger spontan\u00e9ment. En pratique, toutefois, aucune incitation mat\u00e9rielle ou symbolique n’encourageait la v\u00e9rification syst\u00e9matique des publications ant\u00e9rieures. La r\u00e9plication directe \u00e9tait per\u00e7ue comme une activit\u00e9 subalterne, d\u00e9nu\u00e9e d’originalit\u00e9 intellectuelle et pr\u00e9judiciable \u00e0 l’avancement de carri\u00e8re. De facto, des th\u00e9ories reposant sur des protocoles exp\u00e9rimentaux fragiles, impliquant souvent des cohortes d’\u00e0 peine vingt participants par condition, acquirent le statut de v\u00e9rit\u00e9s \u00e9tablies au sein des manuels universitaires.<\/p>\n

L’\u00e9l\u00e9ment d\u00e9clencheur qui pr\u00e9cipita l’\u00e9lectrochoc survint au tout d\u00e9but de l’ann\u00e9e 2011 avec la parution, dans la revue de r\u00e9f\u00e9rence JPSP, d’un article sign\u00e9 par le psychologue \u00e9m\u00e9rite Daryl Bem<\/a> intitul\u00e9 \u00ab Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect \u00bb<\/em>. \u00c0 travers neuf exp\u00e9riences conduites sur plus de mille participants, Bem affirmait avoir apport\u00e9 la preuve empirique indiscutable de l’existence de la pr\u00e9cognition et de la r\u00e9trocausalit\u00e9 \u2014 c’est-\u00e0-dire la capacit\u00e9 de l’esprit humain \u00e0 \u00eatre influenc\u00e9 par des \u00e9v\u00e9nements futurs non encore advenus. Les protocoles statistiques respectaient formellement toutes les normes en vigueur dans la discipline. La communaut\u00e9 scientifique se trouva confront\u00e9e \u00e0 un dilemme insoluble : soit elle devait accepter la r\u00e9alit\u00e9 physique de ph\u00e9nom\u00e8nes paranormaux violant les lois fondamentales de la thermodynamique, soit elle devait admettre que les normes m\u00e9thodologiques et statistiques accept\u00e9es par les revues les plus prestigieuses \u00e9taient structurellement vici\u00e9es.<\/p>\n

1.2 La collaboration entre Joseph Simmons, Leif Nelson et Uri Simonsohn<\/h3>\n

Face au scandale m\u00e9thodologique suscit\u00e9 par l’article de Bem, trois chercheurs combinant des expertises en psychologie cognitive, en \u00e9conomie comportementale et en analyse statistique quantitative d\u00e9cid\u00e8rent d’unir leurs efforts. Joseph P. Simmons, alors professeur \u00e0 la Wharton School de l’Universit\u00e9 de Pennsylvanie, Leif D. Nelson, rattach\u00e9 \u00e0 la Haas School of Business de l’Universit\u00e9 de Californie \u00e0 Berkeley, et Uri Simonsohn, \u00e9galement en poste \u00e0 Wharton, partageaient depuis plusieurs ann\u00e9es un scepticisme croissant vis-\u00e0-vis des r\u00e9sultats spectaculaires prolif\u00e9rant dans leur domaine d’\u00e9tude commun : la prise de d\u00e9cision et le jugement humain.<\/p>\n

En observant le fonctionnement quotidien de leurs propres laboratoires et en \u00e9changeant avec leurs pairs, Simmons, Nelson et Simonsohn acquirent la certitude que la crise sous-jacente ne r\u00e9sultait pas d’une incomp\u00e9tence technique isol\u00e9e, mais d’une tol\u00e9rance collective pour une flexibilit\u00e9 d\u00e9cisionnelle excessive lors du traitement des donn\u00e9es. Ils remarqu\u00e8rent que les chercheurs disposaient d’une libert\u00e9 quasi absolue pour collecter des donn\u00e9es, tester diverses modalit\u00e9s de mod\u00e9lisation, exclure des participants selon des crit\u00e8res mouvants, puis rapporter uniquement la combinaison analytique produisant la valeur de p inf\u00e9rieure au seuil fatidique de 0,05, tout en pr\u00e9tendant r\u00e9trospectivement avoir test\u00e9 une hypoth\u00e8se pr\u00e9\u00e9tablie.<\/p>\n

L’objectif de leur collaboration devint limpide : il ne s’agissait pas de d\u00e9noncer des individus particuliers, mais de concevoir une d\u00e9monstration formelle, rigoureuse et irr\u00e9futable de la facilit\u00e9 avec laquelle n’importe quel chercheur de bonne foi pouvait fabriquer un r\u00e9sultat statistiquement significatif \u00e0 partir de donn\u00e9es purement al\u00e9atoires. En choisissant d’adopter les codes stylistiques, rh\u00e9toriques et m\u00e9thodologiques standards des publications acad\u00e9miques, ils r\u00e9dig\u00e8rent un manuscrit percutant qu’ils soumirent \u00e0 la prestigieuse revue Psychological Science<\/em>. Publi\u00e9 en novembre 2011, cet article allait red\u00e9finir la m\u00e9tarecherche pour la d\u00e9cennie \u00e0 venir.<\/p>\n

1.3 La notion fondamentale de psychologie des faux positifs<\/h3>\n

La th\u00e8se centrale d\u00e9fendue par Simmons, Nelson et Simonsohn repose sur une red\u00e9finition op\u00e9rationnelle de ce qu’ils baptis\u00e8rent la \u00ab psychologie des faux positifs \u00bb. Dans le cadre de l’inf\u00e9rence statistique classique, issue de la synth\u00e8se des travaux de Ronald Fisher, Jerzy Neyman et Egon Pearson, l’erreur de type I correspond au rejet erron\u00e9 de l’hypoth\u00e8se nulle (H0) lorsque celle-ci est en r\u00e9alit\u00e9 vraie. Conventionnellement, le taux de tol\u00e9rance pour cette erreur est fix\u00e9 \u00e0 un seuil nominal alpha de 5 % (alpha = 0,05). Cette convention postule qu’en l’absence de tout effet r\u00e9el dans la population sous-jacente, le chercheur ne devrait observer un r\u00e9sultat faussement positif qu’une fois sur vingt par le simple fait du hasard de l’\u00e9chantillonnage.<\/p>\n

Simmons et ses coauteurs op\u00e9r\u00e8rent une distinction fondamentale entre la fraude scientifique pure \u2014 telle que la fabrication int\u00e9grale ou la falsification d\u00e9lib\u00e9r\u00e9e de donn\u00e9es num\u00e9riques \u2014 et les pratiques de recherche contestables (Questionable Research Practices<\/em>, ou QRPs). Alors que la fraude explicite est universellement condamn\u00e9e sur le plan \u00e9thique et demeure statistiquement minoritaire, le recours aux degr\u00e9s de libert\u00e9 non d\u00e9clar\u00e9s constituait la norme implicite de la discipline. Ces pratiques n’\u00e9taient g\u00e9n\u00e9ralement pas per\u00e7ues par leurs auteurs comme des manquements d\u00e9ontologiques, mais plut\u00f4t comme des \u00e9tapes l\u00e9gitimes d’exploration des donn\u00e9es et d’\u00e9limination du \u00ab bruit \u00bb exp\u00e9rimental.<\/p>\n

L’impact de cette tol\u00e9rance tacite sur l’\u00e9difice th\u00e9orique de la psychologie fut d\u00e9vastateur. Lorsqu’une litt\u00e9rature scientifique accumule une masse pr\u00e9pond\u00e9rante de faux positifs, l’illusion de la coh\u00e9rence th\u00e9orique est maintenue par l’incapacit\u00e9 institutionnelle \u00e0 publier des r\u00e9sultats infirmatoires. Les mod\u00e8les th\u00e9oriques deviennent alors des constructions baroques, complexifi\u00e9es artificiellement pour accommoder des artefacts statistiques incompatibles entre eux. En s’attaquant \u00e0 la validit\u00e9 heuristique des publications accept\u00e9es par les plus grandes revues, les auteurs ont mis en lumi\u00e8re une r\u00e9alit\u00e9 troublante : la confiance accord\u00e9e au consensus scientifique de la discipline reposait sur un mirage probabiliste induit par des m\u00e9thodes d’\u00e9valuation d\u00e9faillantes.<\/p>\n

2. La conceptualisation des degr\u00e9s de libert\u00e9 du chercheur<\/h2>\n

2.1 D\u00e9finition et typologie des degr\u00e9s de libert\u00e9<\/h3>\n

La contribution analytique majeure de l’article de 2011 r\u00e9side dans la formalisation des \u00ab degr\u00e9s de libert\u00e9 du chercheur \u00bb (researcher degrees of freedom<\/em>). Ce concept d\u00e9signe l’ensemble des marges d’arbitrage discr\u00e9tionnaires non d\u00e9clar\u00e9es dont b\u00e9n\u00e9ficie un exp\u00e9rimentateur \u00e0 chaque \u00e9tape charni\u00e8re d’un protocole scientifique, depuis la collecte initiale jusqu’\u00e0 la soumission finale du manuscrit. Contrairement \u00e0 l’id\u00e9al m\u00e9thodologique qui postule un cheminement lin\u00e9aire et univoque dict\u00e9 par une hypoth\u00e8se a priori, la pratique r\u00e9elle de la recherche impose une multitude de choix op\u00e9rationnels : taille finale de l’\u00e9chantillon, crit\u00e8res d’exclusion des participants, s\u00e9lection des variables de mesure, transformations math\u00e9matiques des variables et int\u00e9gration de covariables d’ajustement.<\/p>\n

L’ambigu\u00eft\u00e9 inh\u00e9rente \u00e0 ces d\u00e9cisions provient du fait qu’elles interviennent le plus souvent apr\u00e8s que le chercheur a pris connaissance des caract\u00e9ristiques de ses donn\u00e9es empiriques. Cette observation pr\u00e9coce induit une asym\u00e9trie cognitive majeure : si une premi\u00e8re analyse livre un r\u00e9sultat significatif (p < 0,05) conforme aux attentes th\u00e9oriques, le chercheur interrompt ses investigations et formalise son rapport. En revanche, si la statistique de test \u00e9choue \u00e0 franchir le seuil d’\u00e9ligibilit\u00e9, le chercheur est psychologiquement incit\u00e9 \u00e0 explorer des voies analytiques alternatives sous pr\u00e9texte de \u00ab nettoyer \u00bb les donn\u00e9es ou de neutraliser des sources de variance non anticip\u00e9es.<\/p>\n

Ce processus r\u00e9alise une transformation subreptice et invisible d’une d\u00e9marche purement exploratoire en une d\u00e9marche pr\u00e9tendument confirmatoire. Les justifications avanc\u00e9es par le chercheur peuvent sembler m\u00e9thodologiquement recevables prises isol\u00e9ment (par exemple, \u00e9carter les participants distraits ou contr\u00f4ler l’impact de l’\u00e2ge). N\u00e9anmoins, lorsqu’elles sont guid\u00e9es par la trajectoire de la p-valeur observ\u00e9e, elles constituent une d\u00e9rive opportuniste qui invalide les axiomes fondamentaux du test d’hypoth\u00e8se statistique.<\/p>\n

2.2 L’arr\u00eat de collecte d\u00e9pendant des r\u00e9sultats (Optional Stopping)<\/h3>\n

Parmi les libert\u00e9s m\u00e9thodologiques les plus destructrices pour la validit\u00e9 inf\u00e9rentielle figure l’arr\u00eat de collecte d\u00e9pendant des donn\u00e9es, fr\u00e9quemment d\u00e9sign\u00e9 par l’expression optional stopping<\/em> ou collecte s\u00e9quentielle non corrig\u00e9e. Cette pratique consiste pour l’exp\u00e9rimentateur \u00e0 collecter un petit \u00e9chantillon pilote (par exemple, 15 participants par condition), \u00e0 proc\u00e9der \u00e0 une analyse statistique interm\u00e9diaire (le peeking<\/em>), puis \u00e0 d\u00e9cider de la suite du protocole en fonction de la valeur de p obtenue. Si l’effet est significatif, l’exp\u00e9rimentation est imm\u00e9diatement arr\u00eat\u00e9e et le r\u00e9sultat est pr\u00e9sent\u00e9 comme issu d’un plan d’\u00e9chantillonnage fixe. Si le test n’est pas significatif, la collecte se poursuit pour 10 ou 20 participants suppl\u00e9mentaires avant une nouvelle v\u00e9rification.<\/p>\n

Le vice statistique de ce m\u00e9canisme r\u00e9side dans la violation de l’hypoth\u00e8se de stationnarit\u00e9 des distributions d’\u00e9chantillonnage. En r\u00e9p\u00e9tant des analyses s\u00e9quentielles sans ajuster le seuil alpha nominal par des m\u00e9thodes de correction appropri\u00e9es (telles que les barri\u00e8res de Pocock ou d’O’Brien-Fleming utilis\u00e9es dans les essais cliniques m\u00e9dicaux), le chercheur maximise intentionnellement ou inconsciemment ses chances de capter une fluctuation al\u00e9atoire de l’\u00e9chantillon qui traverse ponctuellement le seuil p < 0,05.<\/p>\n

D\u00e8s lors que la statistique atteint ce seuil \u00e9ph\u00e9m\u00e8re, la collecte s’interrompt d\u00e9finitivement, garantissant que les donn\u00e9es ult\u00e9rieures qui auraient in\u00e9vitablement r\u00e9gress\u00e9 vers la moyenne ne seront jamais recueillies. Cette asym\u00e9trie op\u00e9rationnelle alt\u00e8re lourdement la distribution de la statistique de test sous l’hypoth\u00e8se nulle, transformant une probabilit\u00e9 th\u00e9orique de 5 % d’erreur faussement positive en un risque effectif consid\u00e9rablement plus \u00e9lev\u00e9, directement proportionnel au nombre d’inspections interm\u00e9diaires effectu\u00e9es au cours de l’acquisition des donn\u00e9es.<\/p>\n

2.3 Le filtrage des variables d\u00e9pendantes et des conditions exp\u00e9rimentales<\/h3>\n

Un autre vecteur majeur de flexibilit\u00e9 analytique r\u00e9side dans la multiplication opportuniste des mesures d’un m\u00eame construit psychologique au sein d’une seule session exp\u00e9rimentale. Un chercheur \u00e9valuant l’impact d’une amorce cognitive sur l’estime de soi peut, par exemple, administrer conjointement une \u00e9chelle de Rosenberg standardis\u00e9e, une t\u00e2che d’association implicite, un questionnaire d’auto-\u00e9valuation en trois items et une mesure comportementale de persistance face \u00e0 une t\u00e2che difficile. Si ces quatre mesures sont envisag\u00e9es sans plan analytique strict verrouill\u00e9 au d\u00e9part, l’exp\u00e9rimentateur dispose de quatre opportunit\u00e9s distinctes d’observer un r\u00e9sultat sous le seuil critique.<\/p>\n

L’opportunisme analytique s’exprime alors dans la d\u00e9cision r\u00e9trospective de n’exposer dans le rapport final que la seule variable d\u00e9pendante ayant atteint la significativit\u00e9 statistique. Les trois autres variables, rest\u00e9es inertes face \u00e0 la manipulation exp\u00e9rimentale, sont purement et simplement pass\u00e9es sous silence, comme si elles n’avaient jamais fait partie du devis de recherche originel. Ce biais de s\u00e9lection occulte la r\u00e9alit\u00e9 d’un probl\u00e8me de comparaisons multiples massif : au lieu de tester une hypoth\u00e8se unique au seuil de 5 %, le chercheur a conduit un faisceau de tests sans appliquer la moindre p\u00e9nalit\u00e9 de Bonferroni ou ajustement du taux de fausse d\u00e9couverte (False Discovery Rate<\/em>).<\/p>\n

La m\u00eame logique d\u00e9l\u00e9t\u00e8re s’applique \u00e0 la gestion des conditions exp\u00e9rimentales. Lorsqu’un protocole int\u00e8gre plusieurs variations d’un traitement (par exemple : une condition contr\u00f4le, une condition d’amorce forte et une condition d’amorce mod\u00e9r\u00e9e), il est courant de constater a posteriori l’abandon discr\u00e9tionnaire de la condition interm\u00e9diaire sous pr\u00e9texte qu’elle aurait \u00e9t\u00e9 \u00ab mal comprise \u00bb par les participants, ou au contraire la fusion arbitraire de deux conditions exp\u00e9rimentales pour gonfler la puissance d’un contraste sp\u00e9cifique. Dans tous les cas, le lecteur de l’article publi\u00e9 est tromp\u00e9 sur la topologie r\u00e9elle de l’espace exp\u00e9rimental explor\u00e9.<\/p>\n

2.4 L’usage discr\u00e9tionnaire des covariables statistiques<\/h3>\n

L’introduction de covariables dans des mod\u00e8les lin\u00e9aires g\u00e9n\u00e9raux (ANOVA, r\u00e9gression multiple ou analyse de covariance – ANCOVA) repr\u00e9sente le degr\u00e9 de libert\u00e9 le plus insidieux et le plus difficile \u00e0 tracer pour les relecteurs pairs. L’inclusion d’une variable d’ajustement est th\u00e9oriquement justifi\u00e9e lorsqu’elle permet de r\u00e9duire la variance r\u00e9siduelle non expliqu\u00e9e en contr\u00f4lant pour un facteur dont l’influence sur la variable d\u00e9pendante est scientifiquement \u00e9tablie a priori. Cependant, en l’absence de protocole pr\u00e9\u00e9tabli, le choix d’int\u00e9grer ou non une covariable devient un outil redoutable d’optimisation math\u00e9matique de la significativit\u00e9.<\/p>\n

Un chercheur constatant qu’un test t de Student produit une valeur p d\u00e9cevante de 0,08 peut \u00eatre tent\u00e9 d’ex\u00e9cuter une s\u00e9rie d’ANCOVA en testant successivement le genre des participants, leur \u00e2ge, leur niveau socio-\u00e9conomique, leur orientation politique ou m\u00eame des scores d’anxi\u00e9t\u00e9 pr\u00e9-existants. Si l’un de ces mod\u00e8les parvient \u00e0 faire passer la valeur de p de l’effet principal sous la barre de 0,05 en modifiant le terme d’erreur quadratique moyen, le chercheur adoptera cette mod\u00e9lisation d\u00e9finitive dans son manuscrit, en inventant fr\u00e9quemment une rationalisation th\u00e9orique a posteriori pour l\u00e9gitimer la pr\u00e9sence de cette covariable pr\u00e9cise.<\/p>\n

Cette pratique engendre un gonflement purement artificiel de la variance expliqu\u00e9e. En testant de multiples combinaisons de covariables principales et d’effets d’interaction potentiels, l’espace des mod\u00e8les explorables explose de fa\u00e7on combinatoire. La significativit\u00e9 statistique finalement affich\u00e9e ne refl\u00e8te en aucune mani\u00e8re la r\u00e9alit\u00e9 d’un ph\u00e9nom\u00e8ne psychologique robuste, mais constitue l’aboutissement d’un processus de surajustement (overfitting<\/em>) math\u00e9matique appliqu\u00e9 \u00e0 un \u00e9chantillon sp\u00e9cifique.<\/p>\n

3. Les m\u00e9canismes statistiques sous-jacents au P-Hacking<\/h2>\n

3.1 L’inflation exponentielle du taux d’erreur de type I<\/h3>\n

Pour mesurer la d\u00e9gradation de la rigueur scientifique induite par le p-hacking, il est indispensable de formaliser math\u00e9matiquement l’inflation du risque global d’erreur de type I face \u00e0 la multiplicit\u00e9 des d\u00e9cisions d’analyse. Dans le cas \u00e9l\u00e9mentaire o\u00f9 un exp\u00e9rimentateur \u00e9value $k$<\/span> hypoth\u00e8ses nulles mutuellement ind\u00e9pendantes, chacune test\u00e9e au niveau alpha conventionnel de $\\alpha = 0,05$<\/span>, la probabilit\u00e9 d’obtenir au moins un r\u00e9sultat faussement positif (l’erreur globale par famille, ou Family-Wise Error Rate<\/em>, FWER) est r\u00e9gie par l’\u00e9quation classique :<\/p>\n

FWER = 1 – (1 – α)k<\/sup><\/strong><\/p>\n

Pour $k = 1$<\/span>, le risque th\u00e9orique correspond exactement \u00e0 $\\alpha = 0,05$<\/span>. En revanche, si le chercheur se donne la libert\u00e9 de tester deux variables d\u00e9pendantes ind\u00e9pendantes ($k = 2$<\/span>), la probabilit\u00e9 de commettre au moins une erreur de type I s’\u00e9l\u00e8ve \u00e0 :<\/p>\n

1 – (0,95)2<\/sup> = 0,0975 (soit 9,75 %)<\/strong><\/p>\n

Avec $k = 5$<\/span> alternatives analytiques ind\u00e9pendantes, le taux cumul\u00e9 atteint d\u00e9j\u00e0 :<\/p>\n

1 – (0,95)5<\/sup> ≈ 0,2262 (soit 22,6 %)<\/strong><\/p>\n

Avec $k = 14$<\/span> alternatives, ce taux d\u00e9passe 50 %, ce qui implique qu’il devient plus probable de rejeter \u00e0 tort l’hypoth\u00e8se nulle que d’aboutir \u00e0 une conclusion correcte face \u00e0 du bruit pur.<\/p>\n

Dans la pratique de la recherche psychologique, les diff\u00e9rents tests statistiques r\u00e9alis\u00e9s au sein d’un m\u00eame jeu de donn\u00e9es ne sont g\u00e9n\u00e9ralement pas parfaitement orthogonaux, mais pr\u00e9sentent des degr\u00e9s variables d’inter-corr\u00e9lation positive. Si ces corr\u00e9lations mod\u00e8rent la vitesse d’ascension du risque global par rapport au cas th\u00e9orique d’ind\u00e9pendance parfaite, Simmons, Nelson et Simonsohn ont prouv\u00e9 que la progression du risque demeure spectaculaire. D\u00e8s lors que l’on combine plusieurs familles de d\u00e9cisions (variables d\u00e9pendantes multiples, s\u00e9lections d’\u00e9chantillons et covariables), le taux effectif d’erreur de type I diverge irr\u00e9m\u00e9diablement du seuil nominal de 5 %, vidant la valeur de p de sa fonction originelle de garde-fou \u00e9pist\u00e9mologique.<\/p>\n

3.2 Le mythe du seuil p inf\u00e9rieur \u00e0 0,05 comme gage de v\u00e9rit\u00e9<\/h3>\n

L’h\u00e9g\u00e9monie de la p-valeur dans les sciences du comportement a instaur\u00e9 une dichotomisation cognitive rigide et profond\u00e9ment perverse : un r\u00e9sultat b\u00e9n\u00e9ficiant d’un p = 0,049 est universellement c\u00e9l\u00e9br\u00e9 comme une \u00ab d\u00e9couverte scientifique \u00e9tablie \u00bb, tandis qu’une valeur p = 0,051 est rejet\u00e9e avec m\u00e9pris dans le n\u00e9ant des r\u00e9sultats nuls non publiables. Cette fronti\u00e8re discr\u00e8te et artificielle d\u00e9coule d’une mauvaise interpr\u00e9tation des fondements de la statistique fr\u00e9quentiste.<\/p>\n

La valeur de p ne mesure en aucun cas la probabilit\u00e9 que l’hypoth\u00e8se nulle soit vraie, pas plus qu’elle ne renseigne sur la probabilit\u00e9 que l’hypoth\u00e8se de recherche soit fausse ($P(H_0 | D) \\neq p$<\/span>). Elle indique exclusivement la probabilit\u00e9 d’observer une statistique de test au moins aussi extr\u00eame que celle effectivement obtenue, sous la condition pr\u00e9alable stricte que l’hypoth\u00e8se nulle soit rigoureusement exacte dans la population g\u00e9n\u00e9rale ($P(D | H_0)$<\/span>). Confondre ces deux termes constitue l’erreur fondamentale de la \u00ab transposition de la conditionnelle \u00bb (prosecutor’s fallacy<\/em>).<\/p>\n

En outre, la fixation exclusive sur le franchissement du seuil p < 0,05 oblit\u00e8re la question cruciale de la puissance statistique ($1 – \\beta$<\/span>). Lorsqu’une \u00e9tude est structurellement sous-puissante en raison d’\u00e9chantillons excessivement r\u00e9duits \u2014 situation historique r\u00e9currente en psychologie o\u00f9 les puissances r\u00e9elles oscillaient fr\u00e9quemment entre 20 % et 40 % pour des tailles d’effet moyennes \u2014, la valeur pr\u00e9dictive positive (VPP) d’un r\u00e9sultat pr\u00e9tendument significatif s’effondre dramatiquement, comme l’avait d\u00e9montr\u00e9 l’\u00e9pid\u00e9miologiste John Ioannidis<\/a> dans son c\u00e9l\u00e8bre article de 2005 \u00ab Why Most Published Research Findings Are False \u00bb<\/em>. La p-valeur cesse alors d’\u00eatre un indicateur de v\u00e9rit\u00e9 pour devenir une signature de l’al\u00e9a m\u00e9thodologique.<\/p>\n

3.3 L’impact sur la taille d’effet : la mal\u00e9diction du vainqueur<\/h3>\n

L’alt\u00e9ration des donn\u00e9es induite par le p-hacking ne d\u00e9grade pas uniquement le contr\u00f4le de l’erreur de type I ; elle produit une distorsion syst\u00e9matique et d\u00e9mesur\u00e9e de l’estimation de la taille d’effet (effect size inflation<\/em>), un ph\u00e9nom\u00e8ne \u00e9conom\u00e9trique et statistique connu sous l’appellation de \u00ab mal\u00e9diction du vainqueur \u00bb (winner’s curse<\/em>). Dans un r\u00e9gime de publication o\u00f9 l’acc\u00e8s \u00e0 la litt\u00e9rature est conditionn\u00e9 au franchissement du filtre p < 0,05, seules les \u00e9tudes qui, sous l’effet des fluctuations al\u00e9atoires d’\u00e9chantillonnage, tombent sur l’extr\u00e9mit\u00e9 sup\u00e9rieure de la distribution de l’effet sont s\u00e9lectionn\u00e9es pour \u00eatre publi\u00e9es.<\/p>\n

Dans un contexte exp\u00e9rimental caract\u00e9ris\u00e9 par une faible puissance et une variance r\u00e9siduelle importante, un test d’hypoth\u00e8se ne peut math\u00e9matiquement atteindre le seuil p < 0,05 que s’il affiche une amplitude d’effet observ\u00e9e (par exemple un $d$<\/span> de Cohen ou un coefficient $r$<\/span> de Pearson) largement sup\u00e9rieure \u00e0 la magnitude r\u00e9elle du param\u00e8tre dans la population parente. Les donn\u00e9es qui sous-estiment l’effet r\u00e9el ou qui l’estiment fid\u00e8lement ne franchissent pas la barri\u00e8re de la significativit\u00e9 et sont m\u00e9caniquement \u00e9limin\u00e9es du corpus publi\u00e9.<\/p>\n

Cette troncature s\u00e9lective engendre des cons\u00e9quences scientifiques catastrophiques. Les futures tentatives de r\u00e9plication, calibr\u00e9es en toute bonne foi \u00e0 partir des tailles d’effet sensationnelles rapport\u00e9es dans les articles inauguraux, dimensionnent leurs effectifs de participants sur des bases totalement erron\u00e9es et se trouvent condamn\u00e9es \u00e0 l’\u00e9chec par manque criant de puissance statistique. De surcro\u00eet, les m\u00e9ta-analyses synth\u00e9tisant la litt\u00e9rature publi\u00e9e h\u00e9ritent directement de ces grandeurs hypertrophi\u00e9es, diffusant dans les corpus acad\u00e9miques une vision profond\u00e9ment chim\u00e9rique de la force r\u00e9elle des interventions psychologiques.<\/p>\n

4. La d\u00e9monstration par l’absurde : rajeunir chronologiquement par la musique<\/h2>\n

4.1 Objectif et structure du dispositif exp\u00e9rimental iconique<\/h3>\n

Conscients que les d\u00e9monstrations purement th\u00e9oriques ou math\u00e9matiques rencontraient une r\u00e9sistance passive au sein de la communaut\u00e9 des psychologues \u2014 ces derniers tendant \u00e0 consid\u00e9rer les avertissements statistiques comme des abstractions n’affectant pas le travail exp\u00e9rimental quotidien \u2014, Simmons, Nelson et Simonsohn opt\u00e8rent pour une strat\u00e9gie de rh\u00e9torique scientifique d’une puissance in\u00e9dite : la reductio ad absurdum<\/em> exp\u00e9rimentale. Leur plan visait \u00e0 prouver que le respect scrupuleux des conventions d’\u00e9criture, des crit\u00e8res d’\u00e9valuation par les pairs et des normes statistiques alors en vigueur pouvait permettre d’\u00e9tablir empiriquement un fait biologiquement et physiquement impossible.<\/p>\n

L’hypoth\u00e8se qu’ils choisirent d’\u00e9tayer \u00e9tait d\u00e9lib\u00e9r\u00e9ment grotesque : ils postul\u00e8rent qu’\u00e9couter une musique associ\u00e9e \u00e0 la vieillesse pouvait modifier l’\u00e2ge chronologique r\u00e9el des auditeurs, non pas au sens figur\u00e9 ou psychologique (se sentir plus jeune ou plus vieux), mais au sens physique et l\u00e9gal, mesur\u00e9 strictement par la date de naissance officielle inscrite sur les registres civils. En transposant le paradigme classique de l’amor\u00e7age comportemental (behavioral priming<\/em>), popularis\u00e9 \u00e0 l’\u00e9poque par les \u00e9tudes de John Bargh affirmant que l’activation inconsciente du concept de vieillesse incitait les sujets \u00e0 marcher plus lentement, Simmons et ses coll\u00e8gues con\u00e7urent une exp\u00e9rience en laboratoire impliquant de vrais \u00e9tudiants de l’Universit\u00e9 de Pennsylvanie.<\/p>\n

L’ensemble du protocole fut r\u00e9dig\u00e9 selon les canons les plus rigoureux de la psychologie exp\u00e9rimentale. L’introduction mobilisait la litt\u00e9rature classique sur la plasticit\u00e9 cognitive et les repr\u00e9sentations mn\u00e9siques temporelles. La section m\u00e9thode d\u00e9crivait avec une minutie exemplaire le dispositif de laboratoire, les caract\u00e9ristiques d’assignation al\u00e9atoire, l’\u00e9talonnage du mat\u00e9riel acoustique et les formules d’analyse multivari\u00e9e, composant un paravent m\u00e9thodologique irr\u00e9prochable destin\u00e9 \u00e0 pi\u00e9ger l’illusion de scientificit\u00e9 de l’\u00e9valuation acad\u00e9mique.<\/p>\n

4.2 Comparaison entre ‘When I’m Sixty-Four’ et ‘Kalimba’<\/h3>\n

L’exp\u00e9rience concr\u00e8te \u2014 document\u00e9e dans l’Exp\u00e9rience 2 de leur publication princeps \u2014 comparait deux groupes d’\u00e9tudiants soumis \u00e0 des stimuli auditifs distincts. Dans la condition exp\u00e9rimentale cible, les participants \u00e9coutaient le morceau iconique des Beatles, \u00ab When I’m Sixty-Four \u00bb<\/em>, une chanson \u00e9voquant de mani\u00e8re explicite le vieillissement, la s\u00e9nescence et le d\u00e9clin corporel. Dans la condition de contr\u00f4le, les sujets \u00e9taient expos\u00e9s \u00e0 un morceau instrumental acoustique neutre, le titre \u00ab Kalimba \u00bb<\/em> extrait de la biblioth\u00e8que par d\u00e9faut du syst\u00e8me d’exploitation Windows 7, d\u00e9nu\u00e9 de toute connotation lyrique ou temporelle.<\/p>\n

Apr\u00e8s avoir \u00e9cout\u00e9 leur morceau respectif, les participants devaient remplir un ensemble de questionnaires apparemment anodins, parmi lesquels figurait la collecte de donn\u00e9es d\u00e9mographiques fondamentales : leur genre, leur date de naissance pr\u00e9cise permettant de calculer leur \u00e2ge chronologique exact en ann\u00e9es d\u00e9cimales, ainsi que l’\u00e2ge chronologique de leur p\u00e8re. Les auteurs proc\u00e9d\u00e8rent ensuite au traitement des donn\u00e9es en mobilisant l’arsenal classique de l’ANCOVA.<\/p>\n

Le r\u00e9sultat obtenu et rapport\u00e9 dans le texte officiel de l’article frisa la perfection formelle :<\/p>\n

\n

\u00ab Une analyse de covariance a montr\u00e9 que les participants ayant \u00e9cout\u00e9 \u00ab\u00a0When I’m Sixty-Four\u00a0\u00bb \u00e9taient chronologiquement plus jeunes (M = 20,1 ans) que ceux ayant \u00e9cout\u00e9 le morceau de contr\u00f4le \u00ab\u00a0Kalimba\u00a0\u00bb (M = 21,5 ans), F(1, 17) = 4,92, p = 0,040. \u00bb<\/em><\/p>\n<\/blockquote>\n

En appliquant les conventions standards de la discipline, Simmons et ses collaborateurs venaient de d\u00e9montrer empiriquement et significativement que l’\u00e9coute des Beatles permettait \u00e0 des \u00eatres humains de remonter le temps et de rajeunir biologiquement d’un an et demi en laboratoire.<\/p>\n

4.3 Port\u00e9e rh\u00e9torique et choc \u00e9pist\u00e9mique de l’exemple des Beatles<\/h3>\n

La publication de ce r\u00e9sultat absurde dans la revue phare Psychological Science<\/em> provoqua un s\u00e9isme intellectuel imm\u00e9diat. Les auteurs ne s’\u00e9taient livr\u00e9s \u00e0 aucune manipulation frauduleuse de chiffres dans un tableur : les donn\u00e9es issues des \u00e9tudiants \u00e9taient authentiques, les calculs math\u00e9matiques \u00e9taient rigoureusement exacts et reproductibles \u00e0 la virgule pr\u00e8s, et les proc\u00e9dures d’examen par les pairs avaient valid\u00e9 le manuscrit. L’impossibilit\u00e9 nomologique absolue du ph\u00e9nom\u00e8ne observ\u00e9 (la fl\u00e8che thermodynamique du temps ne pouvant \u00eatre invers\u00e9e par une onde sonore) contraignait les chercheurs \u00e0 une conclusion brutale : le probl\u00e8me ne provenait pas des Beatles, mais des instruments d’inf\u00e9rence statistique sur lesquels reposait l’ensemble de la psychologie moderne.<\/p>\n

Cette mise en sc\u00e8ne th\u00e9\u00e2tralis\u00e9e brisait le confort intellectuel des tenants du statu quo. Il devenait rigoureusement intenable d’arguer que les pratiques courantes d’ajustement statistique n’avaient qu’un impact n\u00e9gligeable sur les conclusions de la recherche. Si la flexibilit\u00e9 m\u00e9thodologique permettait de valider le rajeunissement temporel, que valaient alors les milliers d’articles affirmant avoir d\u00e9montr\u00e9 que tenir une tasse de caf\u00e9 chaud rendait les individus plus chaleureux, ou que poser devant un miroir diminuait la tricherie ?<\/p>\n

La r\u00e9ception de l’article oscilla entre fascination m\u00e9thodologique, incr\u00e9dulit\u00e9 d\u00e9stabilis\u00e9e et une sourde inqui\u00e9tude institutionnelle. Plusieurs figures historiques de la psychologie per\u00e7urent cette d\u00e9monstration comme une attaque hostile contre la l\u00e9gitimit\u00e9 de leur discipline. Cependant, pour la jeune g\u00e9n\u00e9ration de chercheurs et les m\u00e9tascientifiques en devenir, l’article de Simmons, Nelson et Simonsohn brisa d\u00e9finitivement le tabou de la perfection empirique et ouvrit la voie \u00e0 un examen m\u00e9dico-l\u00e9gal des pratiques de publication.<\/p>\n

5. D\u00e9composition m\u00e9thodologique pas \u00e0 pas de l’exp\u00e9rience de Simmons et al.<\/h2>\n

5.1 La s\u00e9lection r\u00e9trospective des variables d\u00e9pendantes<\/h3>\n

Pour comprendre comment un tel prodige statistique avait pu \u00eatre accompli sans recourir \u00e0 la falsification criminelle de donn\u00e9es, Simmons et ses coauteurs ont m\u00e9ticuleusement \u00e9vent\u00e9 leur propre stratag\u00e8me dans la suite de l’article de 2011. Le premier levier m\u00e9thodologique activ\u00e9 a consist\u00e9 en la s\u00e9lection r\u00e9trospective et arbitraire de la variable d\u00e9pendante parmi une batterie de mesures collect\u00e9es simultan\u00e9ment lors de la session de laboratoire.<\/p>\n

Les participants n’avaient pas \u00e9t\u00e9 interrog\u00e9s uniquement sur leur date de naissance. L’exp\u00e9rimentation comprenait une s\u00e9rie \u00e9tendue d’items \u00e9valuant diverses dimensions psychologiques : des \u00e9chelles d’affect subjectif, des mesures de nostalgie ressentie, des \u00e9valuations de l’attrait pour diff\u00e9rents styles musicaux, des estimations de l’\u00e2ge subjectif (l’\u00e2ge qu’ils avaient \u00ab l’impression d’avoir \u00bb dans l’instant), et enfin la mesure brute de leur \u00e2ge civil r\u00e9el. Les auteurs ont test\u00e9 l’effet de leur manipulation sur l’int\u00e9gralit\u00e9 de ces variables.<\/p>\n

Toutes les mesures psychologiques conventionnelles \u2014 celles-l\u00e0 m\u00eames qui auraient th\u00e9oriquement d\u00fb constituer l’objet de recherche d’une telle \u00e9tude \u2014 ont \u00e9chou\u00e9 \u00e0 franchir le seuil d’\u00e9ligibilit\u00e9 statistique p < 0,05, ne montrant aucune diff\u00e9rence entre les deux conditions musicales. L’\u00e2ge chronologique r\u00e9el des participants pr\u00e9sentait, par un hasard de distribution propre \u00e0 cet \u00e9chantillon sp\u00e9cifique, une asym\u00e9trie statistique marginale. Les auteurs ont donc purement et simplement abandonn\u00e9 le rapport de toutes les autres variables dans leur communication finale, focalisant l’analyse sur la seule variable ayant affich\u00e9 la dynamique math\u00e9matique esp\u00e9r\u00e9e, tout en feignant de n’avoir toujours mesur\u00e9 que l’\u00e2ge chronologique.<\/p>\n

5.2 Le contr\u00f4le a posteriori par l’\u00e2ge des p\u00e8res<\/h3>\n

La seconde manipulation m\u00e9thodologique, d\u00e9cisive pour forcer la p-valeur sous le seuil fatidique de 0,05, a r\u00e9sid\u00e9 dans l’int\u00e9gration cibl\u00e9e d’une covariable statistique enti\u00e8rement opportuniste au sein de leur ANCOVA : l’\u00e2ge du p\u00e8re des participants. Lors de l’analyse brute initiale par un simple test t de Student comparant l’\u00e2ge des participants entre le groupe \u00ab Beatles \u00bb et le groupe contr\u00f4le, la valeur de significativit\u00e9 observ\u00e9e \u00e9tait d\u00e9cevante et demeurait au-dessus de la ligne de d\u00e9marcation \u00e9pist\u00e9mique (p > 0,05).<\/p>\n

Pour rem\u00e9dier \u00e0 cette insuffisance statistique, les chercheurs ont fouill\u00e9 le r\u00e9servoir des donn\u00e9es d\u00e9mographiques qu’ils avaient collect\u00e9es \u00e0 titre exploratoire. En incorporant l’\u00e2ge du p\u00e8re comme variable de contr\u00f4le dans le mod\u00e8le lin\u00e9aire, ils ont r\u00e9ussi \u00e0 absorber une part substantielle de la variance r\u00e9siduelle interindividuelle de l’\u00e9chantillon. Math\u00e9matiquement, l’\u00e2ge d’un \u00e9tudiant est naturellement corr\u00e9l\u00e9 \u00e0 l’\u00e2ge de ses g\u00e9niteurs ; l’inclusion de cette variable a ainsi permis d’affiner le terme d’erreur r\u00e9siduelle dans le calcul du ratio de Fisher :<\/p>\n

F = Carr\u00e9 Moyen du Traitement \/ Carr\u00e9 Moyen de l’Erreur<\/strong><\/p>\n

Cette m\u00e9canique a fait s’effondrer la p-valeur de l’effet principal de la musique \u00e0 p = 0,040.<\/p>\n

Pour parachever la parodie d’un article conventionnel, les auteurs ont forg\u00e9 de toutes pi\u00e8ces une justification th\u00e9orique sp\u00e9cieuse pour motiver a posteriori l’int\u00e9gration de ce contr\u00f4le g\u00e9n\u00e9alogique. Ils ont argu\u00e9 que contr\u00f4ler par l’\u00e2ge du p\u00e8re permettait d’ajuster les variations interg\u00e9n\u00e9rationnelles sous-jacentes des sujets de l’\u00e9tude. Cette rationalisation a posteriori a illustr\u00e9 avec une cruaut\u00e9 m\u00e9thodologique implacable la plasticit\u00e9 de l’intellect scientifique : n’importe quel chercheur motiv\u00e9 peut inventer un habillage conceptuel convaincant pour l\u00e9gitimer une op\u00e9ration arithm\u00e9tique dict\u00e9e par l’opportunisme de la p-valeur.<\/p>\n

5.3 L’arr\u00eat flexible de l’\u00e9chantillonnage de participants<\/h3>\n

Le troisi\u00e8me m\u00e9canisme activ\u00e9 dans la fabrication de cette chim\u00e8re exp\u00e9rimentale fut la mise en \u0153uvre rigoureuse d’un protocole d’arr\u00eat d’\u00e9chantillonnage flexible (optional stopping<\/em>). Simmons, Nelson et Simonsohn n’ont jamais planifi\u00e9 \u00e0 l’avance une taille d’\u00e9chantillon d\u00e9finitive contrainte par une analyse de puissance a priori. Ils ont proc\u00e9d\u00e9 par vagues successives de collecte au sein de leur universit\u00e9.<\/p>\n

Les donn\u00e9es ont fait l’objet d’un examen interm\u00e9diaire continu. \u00c0 chaque fois qu’un groupe de quelques \u00e9tudiants achevait la passation, le script statistique \u00e9tait relanc\u00e9 en coulisses. Si le test affichait une valeur p stagnante ou ascendante, la collecte \u00e9tait imm\u00e9diatement prolong\u00e9e pour accueillir quelques sujets de plus. \u00c0 l’instant exact o\u00f9 la trajectoire stochastique du calcul a crois\u00e9 le seuil convoit\u00e9 de la significativit\u00e9 statistique, le processus d’acquisition a \u00e9t\u00e9 d\u00e9finitivement verrouill\u00e9, et la taille finale du groupe a \u00e9t\u00e9 gel\u00e9e \u00e0 N = 20 ou 30 individus par cellule.<\/p>\n

Dans l’article publi\u00e9, cette flexibilit\u00e9 s\u00e9quentielle a \u00e9t\u00e9 soigneusement masqu\u00e9e. Le texte d\u00e9finitif pr\u00e9sentait l’\u00e9chantillon comme un tout coh\u00e9rent et fixe, sugg\u00e9rant au lecteur que la taille de cohorte avait \u00e9t\u00e9 d\u00e9termin\u00e9e avant m\u00eame que le premier participant ne franchisse le seuil du laboratoire. Cette dissimulation d\u00e9lib\u00e9r\u00e9e a parachev\u00e9 la d\u00e9monstration : le lecteur moyen ou l’\u00e9valuateur de la revue n’avait aucun moyen mat\u00e9riel de soup\u00e7onner que les donn\u00e9es devant ses yeux r\u00e9sultaient d’un \u00e9chantillonnage s\u00e9quentiel opportuniste.<\/p>\n

6. Les simulations de Monte-Carlo : quantification de l’inflation de l’erreur<\/h2>\n

6.1 Architecture computationnelle des simulations de Simmons et ses coll\u00e8gues<\/h3>\n

Au-del\u00e0 du coup d’\u00e9clat conceptuel de l’exp\u00e9rience des Beatles, la valeur scientifique p\u00e9renne de l’article de Simmons, Nelson et Simonsohn repose sur l’impl\u00e9mentation de rigoureuses simulations de Monte-Carlo<\/a>. L’objectif de cette approche algorithmique \u00e9tait de mod\u00e9liser avec pr\u00e9cision le comportement math\u00e9matique de milliers de jeux de donn\u00e9es g\u00e9n\u00e9r\u00e9s sous l’hypoth\u00e8se nulle stricte (c’est-\u00e0-dire dans un univers o\u00f9 aucune diff\u00e9rence, aucun effet ni aucune relation n’existe dans la population d’origine), afin d’enregistrer la fr\u00e9quence empirique \u00e0 laquelle des faux positifs surviennent d\u00e8s lors que l’on applique les degr\u00e9s de libert\u00e9 courants de la recherche.<\/p>\n

Les auteurs ont programm\u00e9 des simulations informatiques simulant des exp\u00e9riences d’analyse de variance \u00e0 deux conditions. Les distributions parentes \u00e9taient tir\u00e9es al\u00e9atoirement \u00e0 partir de distributions normales standardis\u00e9es ($\\mu = 0, \\sigma = 1$<\/span>). Chaque it\u00e9ration algorithmique reproduisait le cycle complet d’une \u00e9tude exp\u00e9rimentale soumise aux arbitrages discr\u00e9tionnaires d’un chercheur moyen. Les simulations int\u00e9graient de mani\u00e8re syst\u00e9matique quatre d\u00e9cisions m\u00e9thodologiques sp\u00e9cifiques tr\u00e8s largement r\u00e9pandues dans la litt\u00e9rature de l’\u00e9poque :<\/p>\n