Au cours des premi\u00e8res d\u00e9cennies du XXIe si\u00e8cle, la psychologie exp\u00e9rimentale a \u00e9t\u00e9 travers\u00e9e par une onde de choc intellectuelle sans pr\u00e9c\u00e9dent dans l’histoire des sciences comportementales contemporaines. Longtemps consid\u00e9r\u00e9e comme un mod\u00e8le d’investigation rigoureux alliant devis de recherche sophistiqu\u00e9s et mod\u00e9lisations inf\u00e9rentielles de pointe, la discipline a soudainement \u00e9t\u00e9 confront\u00e9e \u00e0 l’effritement de ses fondations empiriques. Ce ph\u00e9nom\u00e8ne, rapidement qualifi\u00e9 de \u00ab crise de la r\u00e9plication \u00bb ou \u00ab crise de la reproductibilit\u00e9 \u00bb, n’\u00e9tait pas seulement une querelle technique relative \u00e0 des protocoles de laboratoire marginaux ; il touchait directement au statut \u00e9pist\u00e9mologique de la psychologie en tant que science cumulative. Si des exp\u00e9riences canoniques, cit\u00e9es des milliers de fois dans les manuels universitaires et appliqu\u00e9es aux politiques publiques, ne pouvaient \u00eatre reproduites de mani\u00e8re ind\u00e9pendante avec des r\u00e9sultats concordants, que restait-il de la robustesse de notre compr\u00e9hension de l’esprit humain ?<\/p>\n
Face \u00e0 ce vertige m\u00e9thodologique, la communaut\u00e9 scientifique n’a pas r\u00e9agi par le repli corporatiste, mais par une entreprise collective d’autocritique d’une envergure in\u00e9dite. C’est dans cette br\u00e8che historique que s’est d\u00e9ploy\u00e9 le Center for Open Science<\/a> sous la direction de Brian Nosek, orchestrant ce qui allait devenir le Reproducibility Project: Psychology<\/em> (RP:P). Coordonn\u00e9 par l’Open Science Collaboration, cet effort hercul\u00e9en a rassembl\u00e9 plus de 270 chercheurs r\u00e9partis sur plusieurs continents afin d’\u00e9valuer de mani\u00e8re empirique, transparente et non punitive la reproductibilit\u00e9 de cent articles fondamentaux publi\u00e9s en 2008 dans les revues les plus prestigieuses du domaine. Les conclusions de cette m\u00e9ta-recherche, publi\u00e9es en ao\u00fbt 2015 dans la prestigieuse revue Science<\/a>, ont constitu\u00e9 un s\u00e9isme dont les r\u00e9percussions continuent de red\u00e9finir en profondeur les normes de l’investigation empirique.<\/p>\n L’analyse d\u00e9taill\u00e9e de ce projet ne saurait se limiter \u00e0 la simple r\u00e9citation d’un constat chiffr\u00e9 d\u00e9senchant\u00e9. Elle exige une plong\u00e9e exhaustive dans les racines sociologiques, \u00e9pist\u00e9mologiques et statistiques de la crise, un examen minutieux des protocoles collaboratifs d’une rigueur absolue d\u00e9ploy\u00e9s pour y r\u00e9pondre, ainsi qu’une exploration approfondie des r\u00e9formes structurelles qui fa\u00e7onnent d\u00e9sormais la science ouverte. Cet article propose une d\u00e9construction syst\u00e9matique de cette aventure scientifique sans \u00e9quivalent, analysant comment une confrontation lucide avec la vuln\u00e9rabilit\u00e9 m\u00e9thodologique a ouvert la voie \u00e0 une renaissance paradigmatique de la psychologie contemporaine.<\/p>\n L’ann\u00e9e 2011 est g\u00e9n\u00e9ralement identifi\u00e9e comme le catalyseur imm\u00e9diat de la prise de conscience collective au sein de la psychologie exp\u00e9rimentale, bien que les tensions \u00e9pist\u00e9mologiques sous-jacentes couvaient depuis plusieurs d\u00e9cennies. Le point d’inflexion le plus spectaculaire survint avec la parution, dans le prestigieux Journal of Personality and Social Psychology<\/em>, d’un article sign\u00e9 par Daryl Bem<\/a> intitul\u00e9 \u00ab Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect \u00bb. \u00c0 travers neuf exp\u00e9riences conduites sur plus d’un millier de participants, Bem affirmait avoir apport\u00e9 la preuve empirique de ph\u00e9nom\u00e8nes de pr\u00e9cognition et de r\u00e9trocausalit\u00e9 psychologique, d\u00e9montrant pr\u00e9tendument que des stimuli futurs pouvaient influencer des r\u00e9ponses affectives et mn\u00e9siques pass\u00e9es. Ce qui alarma profond\u00e9ment la communaut\u00e9 scientifique ne fut pas tant l’exotisme ontologique de ces all\u00e9gations parapsychologiques, mais plut\u00f4t le fait que Bem avait scrupuleusement respect\u00e9 l’int\u00e9gralit\u00e9 des canons m\u00e9thodologiques et inf\u00e9rentiels alors en vigueur dans la discipline. La publication de conclusions d\u00e9fiant les lois \u00e9l\u00e9mentaires de la physique d\u00e9montrait par l’absurde qu’un chercheur pouvait, en suivant parfaitement les r\u00e8gles admises du test d’hypoth\u00e8se nulle, \u00ab prouver \u00bb scientifiquement l’impossible.<\/p>\n Dans la foul\u00e9e imm\u00e9diate de cette onde de choc, Joseph Simmons, Leif Nelson et Uri Simonsohn publi\u00e8rent un article s\u00e9minal r\u00e9v\u00e9lant l’ampleur syst\u00e9mique de ce qu’ils baptis\u00e8rent les \u00ab degr\u00e9s de libert\u00e9 du chercheur \u00bb<\/a> (researcher degrees of freedom<\/em>). Par le biais de simulations statistiques rigoureuses et d’une d\u00e9monstration empirique parodique \u2014 r\u00e9ussissant \u00e0 prouver qu’\u00e9couter une chanson des Beatles r\u00e9duisait l’\u00e2ge chronologique des participants \u2014, le trio illustra comment la flexibilit\u00e9 informelle dans la collecte, le filtrage et l’analyse des donn\u00e9es permettait d’atteindre un seuil de significativit\u00e9 statistique arbitraire (p<\/em> < 0,05) \u00e0 partir d’un bruit purement al\u00e9atoire. Le choix opportuniste de stopper le recrutement des participants une fois la significativit\u00e9 atteinte, l’exclusion post-hoc d’observations divergentes ou l’inclusion flexible de covariables repr\u00e9sentaient des pratiques usuelles qui faisaient exploser le taux r\u00e9el d’erreurs de type I (faux positifs) bien au-del\u00e0 du seuil conventionnel de 5 %, le propulsant fr\u00e9quemment au-dessus de 60 %.<\/p>\n Cette vuln\u00e9rabilit\u00e9 \u00e9tait consid\u00e9rablement aggrav\u00e9e par une insuffisance historique et chronique de la puissance statistique des \u00e9tudes comportementales. D\u00e8s 1962, Jacob Cohen<\/a> avait alert\u00e9 sur le fait que la puissance moyenne des exp\u00e9riences publi\u00e9es en psychologie n’exc\u00e9dait pas 50 % pour la d\u00e9tection d’effets de taille moyenne, une situation demeur\u00e9e virtuellement inchang\u00e9e pr\u00e8s de cinquante ans plus tard. Une puissance statistique affaiblie combin\u00e9e \u00e0 une tol\u00e9rance implicite pour l’exploration opportuniste des donn\u00e9es cr\u00e9ait les conditions parfaites pour une prolif\u00e9ration massive de r\u00e9sultats fallacieux, institutionnalisant une distorsion statistique structurelle au c\u0153ur m\u00eame de la litt\u00e9rature sp\u00e9cialis\u00e9e.<\/p>\n L’\u00e9mergence de cette crise ne saurait \u00eatre comprise uniquement \u00e0 travers le prisme de l’inadvertance m\u00e9thodologique individuelle ; elle r\u00e9sulte avant tout d’une architecture institutionnelle dysfonctionnelle g\u00e9n\u00e9rant des incitations toxiques. Depuis la fin du XXe si\u00e8cle, le monde universitaire s’est progressivement align\u00e9 sur le dogme hyper-comp\u00e9titif du \u00ab publier ou p\u00e9rir \u00bb (publish or perish<\/em>). Dans ce cadre, la progression des carri\u00e8res acad\u00e9miques \u2014 qu’il s’agisse de l’obtention de postes permanents, de financements contractuels ou de chaires prestigieuses \u2014 s’est retrouv\u00e9e subordonn\u00e9e \u00e0 des m\u00e9triques quantitatives d’impact \u00e9ditorial privil\u00e9giant de mani\u00e8re quasi exclusive les d\u00e9couvertes novatrices, surprenantes et statistiquement significatives.<\/p>\n Cette valorisation outranci\u00e8re de l’in\u00e9dit a instaur\u00e9 une asym\u00e9trie d\u00e9vastatrice dans le processus de s\u00e9lection des manuscrits par les revues de premier plan. Les r\u00e9sultats dits \u00ab nuls \u00bb ou non concluants, pourtant inh\u00e9rents \u00e0 toute d\u00e9marche exploratoire honn\u00eate, se voyaient syst\u00e9matiquement refoul\u00e9s lors de l’\u00e9valuation par les pairs, jug\u00e9s ennuyeux, peu informatifs ou indicateurs d’une pr\u00e9sum\u00e9e incomp\u00e9tence exp\u00e9rimentale. Cette censure \u00e9ditoriale structurelle a naturellement incit\u00e9 les chercheurs, consciemment ou non, \u00e0 modifier r\u00e9trospectivement leurs devis d’analyse pour transformer des tendances statistiques \u00e9quivoques en succ\u00e8s sans faille. Il existait une prime disproportionn\u00e9e \u00e0 la narration lin\u00e9aire et sensationnaliste, souvent au d\u00e9triment de l’aust\u00e8re complexit\u00e9 du r\u00e9el empirique.<\/p>\n Dans ce contexte hautement financiaris\u00e9, la conduite de r\u00e9plications directes et ind\u00e9pendantes repr\u00e9sentait un suicide acad\u00e9mique pour les jeunes chercheurs. Les organismes subventionnaires allouaient rarement des fonds pour reproduire des travaux ant\u00e9rieurs, consid\u00e9rant cela comme un doublon st\u00e9rile et un gaspillage de ressources publiques. Parall\u00e8lement, soumettre une tentative de r\u00e9plication directe aupr\u00e8s d’une revue renomm\u00e9e se soldait invariablement par une fin de non-recevoir motiv\u00e9e par l’absence d’originalit\u00e9 conceptuelle. Il existait donc un conflit d’int\u00e9r\u00eats implicite mais puissant : l’avancement professionnel exigeait de maximiser le nombre de d\u00e9couvertes s\u00e9duisantes, tout en d\u00e9courageant activement tout effort d’audit critique susceptible d’en v\u00e9rifier la p\u00e9rennit\u00e9.<\/p>\n Au-del\u00e0 des imp\u00e9ratifs sociologiques, c’est l’essence m\u00eame de la d\u00e9marche scientifique qui se trouvait menac\u00e9e dans son statut \u00e9pist\u00e9mologique. Depuis les travaux de Karl Popper<\/a>, la r\u00e9plicabilit\u00e9 exp\u00e9rimentale constitue la pierre de touche de la d\u00e9marcation entre science et pseudo-science. Une affirmation empirique ne peut pr\u00e9tendre \u00e0 l’universalit\u00e9 que si ses effets peuvent \u00eatre observ\u00e9s de mani\u00e8re r\u00e9p\u00e9t\u00e9e par des observateurs ind\u00e9pendants suivant un protocole standardis\u00e9. Un fait scientifique n’est pas un \u00e9v\u00e9nement singulier et spectaculaire captur\u00e9 une fois au sein d’un laboratoire privil\u00e9gi\u00e9 ; il s’agit d’une r\u00e9gularit\u00e9 nomologique v\u00e9rifiable par quiconque dispose des outils ad\u00e9quats.<\/p>\n Jusqu’au d\u00e9but des ann\u00e9es 2010, les d\u00e9bats autour de la solidit\u00e9 des preuves en sciences comportementales demeuraient largement confin\u00e9s \u00e0 des controverses ponctuelles. Des anecdotes isol\u00e9es et des pol\u00e9miques locales opposaient les tenants d’un effet \u00e0 leurs d\u00e9tracteurs, sans qu’il soit possible de trancher m\u00e9thodologiquement pour savoir si les \u00e9checs de r\u00e9plication \u00e9taient le fruit d’anomalies p\u00e9riph\u00e9riques ou le sympt\u00f4me d’un mal profond et g\u00e9n\u00e9ralis\u00e9. Il devenait imp\u00e9rieux de d\u00e9passer les impressions subjectives au profit d’une v\u00e9ritable m\u00e9ta-science empirique : il fallait quantifier avec pr\u00e9cision la robustesse globale du corpus de psychologie exp\u00e9rimentale au moyen d’un protocole d’\u00e9chantillonnage repr\u00e9sentatif et rigoureusement contr\u00f4l\u00e9.<\/p>\n Cette entreprise m\u00e9ta-scientifique s’imposait \u00e9galement comme une n\u00e9cessit\u00e9 politique et d\u00e9ontologique urgente. La psychologie, en tant que discipline \u00e9tudiant le comportement, l’\u00e9ducation, la sant\u00e9 mentale et les dynamiques organisationnelles, nourrit directement l’action publique et les th\u00e9rapies cliniques. Tol\u00e9rer que des th\u00e9ories bancales dictent des politiques \u00e9ducatives ou des interventions m\u00e9dicales posait un probl\u00e8me \u00e9thique majeur. Pour restaurer la cr\u00e9dibilit\u00e9 publique et institutionnelle de la discipline, il \u00e9tait indispensable de conduire un audit grandeur nature, transparent et sans concession, capable de sonder l’int\u00e9grit\u00e9 m\u00eame des connaissances accumul\u00e9es.<\/p>\n Face \u00e0 la n\u00e9cessit\u00e9 d’un diagnostic d’envergure, l’initiative n’est pas venue des structures acad\u00e9miques traditionnelles, mais d’une impulsion novatrice incarn\u00e9e par Brian Nosek, professeur de psychologie \u00e0 l’Universit\u00e9 de Virginie. Conscient que la r\u00e9solution de la crise exigeait \u00e0 la fois une refonte m\u00e9thodologique et des solutions techniques p\u00e9rennes, Nosek cofonde en 2013 le Center for Open Science (COS) avec Jeffrey Spies. Cette organisation \u00e0 but non lucratif s’est fix\u00e9 pour mission explicite d’accro\u00eetre l’ouverture, l’int\u00e9grit\u00e9 et la reproductibilit\u00e9 de la recherche scientifique mondiale, en fournissant des infrastructures num\u00e9riques adapt\u00e9es et en f\u00e9d\u00e9rant une communaut\u00e9 jusqu’alors atomis\u00e9e.<\/p>\n Le pivot technique de cette r\u00e9volution institutionnelle fut l’Open Science Framework (OSF)<\/a>, une plateforme en acc\u00e8s libre con\u00e7ue sp\u00e9cifiquement pour soutenir l’int\u00e9gralit\u00e9 du cycle de vie de la recherche. L’OSF a permis d’instaurer une tra\u00e7abilit\u00e9 totale des processus exp\u00e9rimentaux : stockage et horodatage immuable des hypoth\u00e8ses, h\u00e9bergement public des protocoles m\u00e9thodologiques, des mat\u00e9riels de test, des scripts d’analyse informatique et des bases de donn\u00e9es brutes. Gr\u00e2ce \u00e0 cet outil, le projet de r\u00e9plication s’est dot\u00e9 d’une infrastructure collaborative garantissant une transparence absolue, \u00e9liminant par dessein toute possibilit\u00e9 de manipulation r\u00e9troactive ou de s\u00e9lection opportune des observations.<\/p>\n D’un point de vue culturel, Brian Nosek et ses collaborateurs ont veill\u00e9 \u00e0 instaurer une atmosph\u00e8re d\u00e9lib\u00e9r\u00e9ment non punitive et coll\u00e9giale. L’objectif n’\u00e9tait nullement d’\u00e9riger un tribunal scientifique destin\u00e9 \u00e0 traquer des fraudeurs ou \u00e0 vouer des chercheurs sp\u00e9cifiques aux g\u00e9monies acad\u00e9miques, mais d’\u00e9tablir une d\u00e9marche diagnostique collective ax\u00e9e sur la sant\u00e9 du syst\u00e8me global. L’ind\u00e9pendance financi\u00e8re du projet, assur\u00e9e par des dotations philanthropiques substantielles \u2014 notamment de la Fondation Laura et John Arnold<\/a> \u2014, a pr\u00e9muni l’\u00e9quipe de coordination contre les pressions corporatistes et les conflits d’int\u00e9r\u00eats institutionnels inh\u00e9rents aux circuits conventionnels de subventions \u00e9tatiques.<\/p>\n L’op\u00e9rationnalisation d’un tel projet repr\u00e9sentait un d\u00e9fi logistique et humain gigantesque, mat\u00e9rialis\u00e9 sous la banni\u00e8re de l’Open Science Collaboration<\/em> (OSC). Cette structure organisationnelle d\u00e9centralis\u00e9e a r\u00e9ussi la prouesse de mobiliser plus de 270 chercheurs internationaux \u2014 professeurs \u00e9m\u00e9rites, ma\u00eetres de conf\u00e9rences, chercheurs postdoctoraux et doctorants \u2014 issus de dizaines d’universit\u00e9s r\u00e9parties sur l’ensemble du globe. Tous ont consenti \u00e0 mutualiser b\u00e9n\u00e9volement leur temps, leurs comp\u00e9tences et l’acc\u00e8s \u00e0 leurs laboratoires respectifs afin de r\u00e9aliser ce qui allait constituer le plus vaste effort coordonn\u00e9 de r\u00e9plication directe de l’histoire des sciences humaines.<\/p>\n Pour assurer la rigueur d’une m\u00e9canique aussi complexe, une division standardis\u00e9e du travail scientifique fut minutieusement formalis\u00e9e. L’architecture comprenait un comit\u00e9 de coordination centrale supervisant le calendrier et le contr\u00f4le m\u00e9thodologique, des \u00e9quipes de r\u00e9plication ind\u00e9pendantes assign\u00e9es \u00e0 chaque manuscrit en fonction de leur expertise technique, ainsi qu’un groupe de statisticiens et de m\u00e9thodologistes d\u00e9di\u00e9s \u00e0 l’analyse crois\u00e9e des r\u00e9sultats. Les interactions humaines furent codifi\u00e9es selon des r\u00e8gles strictes de gestion documentaire, avec une journalisation syst\u00e9matique de chaque \u00e9tape sur l’OSF, \u00e9vitant ainsi toute d\u00e9rive interpr\u00e9tative locale.<\/p>\n Afin de minimiser les biais interpersonnels et la tentation de complaisance ou d’hostilit\u00e9 envers les auteurs initiaux, des m\u00e9canismes d’anonymisation et de relecture crois\u00e9e furent int\u00e9gr\u00e9s dans les circuits de v\u00e9rification interne. Ce mod\u00e8le participatif a d\u00e9montr\u00e9 qu’une recherche \u00ab en essaim \u00bb (crowdsourced science<\/em>), hautement coordonn\u00e9e et respectueuse de standards op\u00e9rationnels communs, \u00e9tait non seulement envisageable \u00e0 l’\u00e9chelle mondiale, mais qu’elle constituait une alternative fonctionnelle et d\u00e9mocratique face au mod\u00e8le archa\u00efque du chercheur solitaire retranch\u00e9 dans sa tour d’ivoire.<\/p>\n L’\u00e9thique du projet reposait sur un tr\u00e9pied inalt\u00e9rable : transparence radicale, pr\u00e9-sp\u00e9cification aveugle et neutralit\u00e9 bienveillante. Le principe de l’acc\u00e8s ouvert int\u00e9gral (Open Access<\/em> et Open Data<\/em>) s’appliquait sans restriction : aucun r\u00e9sultat, script ou fichier de donn\u00e9es brutes ne devait demeurer confidentiel. Chaque participant s’engageait \u00e0 rendre publics l’int\u00e9gralit\u00e9 de ses mat\u00e9riaux d’exp\u00e9rimentation, ses environnements logiciels et ses codages algorithmiques, assurant une reproductibilit\u00e9 computationnelle imm\u00e9diate pour n’importe quel auditeur externe ind\u00e9pendant.<\/p>\n La r\u00e8gle d’or consistait en la pr\u00e9-sp\u00e9cification publique et irr\u00e9versible de l’ensemble des crit\u00e8res analytiques. Avant m\u00eame d’accueillir le premier participant dans le laboratoire de r\u00e9plication, le plan de recherche d\u00e9taill\u00e9, les r\u00e8gles d’exclusion d’\u00e9chantillons, les transformations de variables et les seuils de significativit\u00e9 devaient \u00eatre enregistr\u00e9s formellement sur l’OSF. Ce verrouillage institutionnel rendait rigoureusement impossible le recours aux pratiques de recherche contestables (Questionable Research Practices<\/em> ou QRP), immunisant les exp\u00e9rimentateurs contre le biais de confirmation et les adaptations m\u00e9thodologiques au fil de l’eau.<\/p>\n Enfin, une \u00e9thique de neutralit\u00e9 rigoureuse r\u00e9gissait les rapports avec la communaut\u00e9 scientifique \u00e9largie. L’Open Science Collaboration s’est explicitement interdit d’adopter un ton accusatoire ou condescendant envers les travaux examin\u00e9s. L’\u00e9chec d’une r\u00e9plication ne devait en aucun cas \u00eatre assimil\u00e9 \u00e0 une preuve de mauvaise conduite ou d’incomp\u00e9tence de l’auteur original, mais interpr\u00e9t\u00e9 comme une observation scientifique nouvelle appelant une explication th\u00e9orique plus fine. Cette posture a permis d’att\u00e9nuer les r\u00e9flexes d\u00e9fensifs et d’engager un dialogue constructif au c\u0153ur m\u00eame du processus de v\u00e9rification empirique.<\/p>\n Afin de lever toute \u00e9quivoque s\u00e9mantique, les promoteurs du projet ont clarifi\u00e9 avec une rigueur analytique exemplaire les fronti\u00e8res terminologiques s\u00e9parant les diff\u00e9rents niveaux d’\u00e9valuation m\u00e9thodologique. Dans la nomenclature adopt\u00e9e par l’Open Science Collaboration, il convenait de s\u00e9parer nettement la reproductibilit\u00e9 computationnelle de la r\u00e9plicabilit\u00e9 exp\u00e9rimentale directe et conceptuelle, concepts trop souvent amalgam\u00e9s dans le d\u00e9bat public.<\/p>\n La reproductibilit\u00e9 computationnelle<\/em> (parfois appel\u00e9e reproductibilit\u00e9 analytique) d\u00e9signe la capacit\u00e9 pour un chercheur ind\u00e9pendant de parvenir \u00e0 des r\u00e9sultats chiffr\u00e9s strictement identiques en appliquant les m\u00eames proc\u00e9dures d’analyse statistique et les m\u00eames algorithmes logiciels aux donn\u00e9es brutes initialement recueillies par l’\u00e9quipe d’origine. Il s’agit du niveau fondamental de la v\u00e9rification scientifique : une erreur de codage, une omission de variable ou une manipulation opaque du tableur suffisent \u00e0 compromettre cette reproductibilit\u00e9 sans qu’aucun nouveau sujet n’ait besoin d’\u00eatre test\u00e9.<\/p>\n \u00c0 l’oppos\u00e9, la r\u00e9plicabilit\u00e9 directe<\/em> \u2014 qui constitue le c\u0153ur exclusif du Reproducibility Project: Psychology<\/em> \u2014 consiste \u00e0 collecter de nouvelles donn\u00e9es empiriques aupr\u00e8s d’un \u00e9chantillon ind\u00e9pendant, tout en suivant scrupuleusement le protocole exp\u00e9rimental d’origine : m\u00eames mat\u00e9riels, m\u00eames stimuli, m\u00eames consignes, conditions d’environnement identiques et instruments de mesure similaires. Elle se distingue radicalement de la r\u00e9plicabilit\u00e9 conceptuelle<\/em>, laquelle tente de tester la m\u00eame hypoth\u00e8se th\u00e9orique sous-jacente mais en alt\u00e9rant d\u00e9lib\u00e9r\u00e9ment le paradigme, la manipulation ou la population cible. Si la r\u00e9plication conceptuelle sert \u00e0 sonder l’\u00e9tendue de la g\u00e9n\u00e9ralisabilit\u00e9 d’un concept, seule la r\u00e9plication directe permet de trancher avec certitude sur la v\u00e9racit\u00e9 factuelle d’une observation empirique primitive.<\/p>\n L’orientation m\u00e9thodologique g\u00e9n\u00e9rale du RP:P s’est voulue d\u00e9lib\u00e9r\u00e9ment descriptive plut\u00f4t que normative ou inquisitoriale. L’enjeu fondamental n’\u00e9tait pas de distribuer des brevets de vertu scientifique ou d’invalider p\u00e9remptoirement des travaux acad\u00e9miques majeurs, mais de fournir une estimation statistique robuste et empiriquement fond\u00e9e du taux moyen de r\u00e9plicabilit\u00e9 directe d’un secteur de la science au sein d’un \u00e9chantillon stratifi\u00e9 de publications de premier rang.<\/p>\n En adoptant une approche \u00e9pid\u00e9miologique de la litt\u00e9rature, le consortium s’est fix\u00e9 pour but d’identifier les d\u00e9terminants structurels de la r\u00e9plicabilit\u00e9. Il s’agissait d’analyser syst\u00e9matiquement si des facteurs tels que la taille d’effet initiale, le niveau de significativit\u00e9 (valeur de p<\/em>), le domaine de sous-discipline (psychologie sociale versus psychologie cognitive), ou les caract\u00e9ristiques des auteurs pouvaient pr\u00e9dire statistiquement la probabilit\u00e9 de succ\u00e8s d’une tentative de r\u00e9plication. Cette perspective quantitative visait \u00e0 cartographier le paysage m\u00e9thodologique sans porter de jugement moral sur les personnes.<\/p>\n En refusant de qualifier les \u00e9tudes \u00e9chouant au test de \u00ab frauduleuses \u00bb ou de \u00ab d\u00e9nu\u00e9es de valeur \u00bb, le projet a insist\u00e9 sur le fait qu’un \u00e9chec de r\u00e9plication repr\u00e9sente une estimation ponctuelle entour\u00e9e d’incertitude statistique, au m\u00eame titre que l’\u00e9tude initiale. L’ambition ultime \u00e9tait d’\u00e9tablir une base empirique solide (baseline<\/em>) servant de point d’ancrage historique pour \u00e9valuer, au cours des d\u00e9cennies suivantes, l’efficacit\u00e9 des r\u00e9formes m\u00e9thodologiques qui allaient \u00e9merger de cette crise salutaire.<\/p>\n Au c\u0153ur de l’entreprise se trouvait une r\u00e9flexion \u00e9pist\u00e9mologique aigu\u00eb sur la tension entre validit\u00e9 interne et variabilit\u00e9 contextuelle. Toute exp\u00e9rience de psychologie s’inscrit in\u00e9vitablement dans un contexte spatio-temporel singulier. Les d\u00e9tracteurs de la r\u00e9plication directe argu\u00e8rent parfois qu’il est rigoureusement impossible de reproduire \u00e0 l’identique une exp\u00e9rience comportementale, les individus, les climats socioculturels et les dynamiques historiques variant sans cesse. Le cadre th\u00e9orique du RP:P a abord\u00e9 cette aporie de front : si un effet psychologique est si fragile qu’il ne peut se manifester que dans des conditions ultra-sp\u00e9cifiques et non contr\u00f4l\u00e9es, alors son applicabilit\u00e9 et sa port\u00e9e scientifique g\u00e9n\u00e9rale sont quasi nulles.<\/p>\n Le projet s’est \u00e9galement int\u00e9ress\u00e9 \u00e0 la formalisation du \u00ab d\u00e9clin de l’effet \u00bb (decline effect<\/em>), un ph\u00e9nom\u00e8ne r\u00e9current document\u00e9 par l’histoire des sciences o\u00f9 l’amplitude apparente des d\u00e9couvertes novatrices tend \u00e0 s’\u00e9tioler inexorablement au fur et \u00e0 mesure que se succ\u00e8dent les tentatives ind\u00e9pendantes de v\u00e9rification. D’un point de vue inf\u00e9rentiel, les investigateurs ont promu une conceptualisation bay\u00e9sienne de l’accumulation du savoir : une seule \u00e9tude, aussi \u00e9clatante soit-elle, ne saurait constituer une v\u00e9rit\u00e9 d\u00e9finitive, mais simplement une invitation \u00e0 mettre \u00e0 jour la distribution de probabilit\u00e9 a priori<\/em> quant \u00e0 l’existence et la taille r\u00e9elle d’un effet.<\/p>\n Cette approche a permis de mettre en lumi\u00e8re les failles intrins\u00e8ques du mod\u00e8le dominant fond\u00e9 sur le test d’hypoth\u00e8se nulle (NHST, Null Hypothesis Significance Testing<\/em>). En r\u00e9duisant l’\u00e9valuation scientifique \u00e0 un verdict binaire simpliste \u2014 le franchissement arbitraire du seuil p<\/em> < 0,05 \u2014, la discipline s’\u00e9tait enferm\u00e9e dans une illusion d’objectivit\u00e9 qui masquait la volatilit\u00e9 fondamentale des petits \u00e9chantillons et favorisait la surinterpr\u00e9tation d’effets \u00e9ph\u00e9m\u00e8res.<\/p>\n Pour parer \u00e0 toute accusation de s\u00e9lection arbitraire ou de biais de confirmation r\u00e9trospectif visant \u00e0 cibler des \u00e9tudes r\u00e9put\u00e9es douteuses, l’Open Science Collaboration a d\u00e9fini des crit\u00e8res d’\u00e9chantillonnage syst\u00e9matiques et transparents. Le corpus d’extraction a \u00e9t\u00e9 strictement circonscrit \u00e0 l’ann\u00e9e civile 2008, une p\u00e9riode suffisamment r\u00e9cente pour refl\u00e9ter les standards contemporains de la recherche en psychologie, tout en offrant un recul temporel suffisant pour permettre l’acc\u00e8s aux mat\u00e9riels originaux sans \u00eatre frein\u00e9 par des d\u00e9parts massifs \u00e0 la retraite des auteurs.<\/p>\n Les investigations se sont concentr\u00e9es sur trois revues acad\u00e9miques consid\u00e9r\u00e9es \u00e0 l’\u00e9chelle internationale comme le sommet de la reconnaissance disciplinaire :<\/p>\n Cette triade garantissait un panorama repr\u00e9sentatif des p\u00f4les majeurs de la recherche exp\u00e9rimentale fondamentale, confrontant au sein d’une m\u00eame matrice analytique des traditions de laboratoire aux cultures de recherche distinctes.<\/p>\n Le processus de s\u00e9lection au sein des num\u00e9ros de l’ann\u00e9e 2008 a suivi un algorithme strict pour \u00e9liminer toute subjectivit\u00e9 de la part des r\u00e9plicateurs. Dans les revues s\u00e9lectionn\u00e9es, les articles ont \u00e9t\u00e9 examin\u00e9s selon leur ordre d’apparition s\u00e9quentiel dans les volumes. Pour chaque publication analys\u00e9e, une r\u00e8gle standardis\u00e9e s’appliquait imp\u00e9rativement : le r\u00e9plicateur devait cibler par d\u00e9faut la premi\u00e8re \u00e9tude exp\u00e9rimentale de l’article (\u00c9tude 1) ou, dans des cas formellement codifi\u00e9s, la derni\u00e8re manipulation cruciale portant l’effet th\u00e9orique principal mis en exergue par les auteurs.<\/p>\n L’appariement des \u00e9tudes aux \u00e9quipes de r\u00e9plication s’est op\u00e9r\u00e9 par auto-d\u00e9signation guid\u00e9e par la comp\u00e9tence technique. Les chercheurs b\u00e9n\u00e9voles du consortium choisissaient une \u00e9tude issue de la liste s\u00e9quentielle en fonction de leurs \u00e9quipements de laboratoire, de leurs expertises m\u00e9thodologiques sp\u00e9cifiques et de leur capacit\u00e9 \u00e0 en assurer la rigueur technique. Des crit\u00e8res stricts d’exclusion ont n\u00e9anmoins \u00e9t\u00e9 \u00e9tablis en amont : les \u00e9tudes n\u00e9cessitant des populations cliniques rares, des mat\u00e9riels technologiques obsol\u00e8tes impossibles \u00e0 r\u00e9pliquer ou des d\u00e9marches logistiques et \u00e9thiques disproportionn\u00e9es ont \u00e9t\u00e9 \u00e9cart\u00e9es de mani\u00e8re transparente et document\u00e9e.<\/p>\n Ce protocole rigoureux a permis de stabiliser un \u00e9chantillon final de 100 r\u00e9plications compl\u00e8tes et exploitables. Chaque tentative formait une dyade d’observation constitu\u00e9e du r\u00e9sultat original de 2008 et de sa contrepartie standardis\u00e9e contemporaine, fournissant un mat\u00e9riau statistique pur d’une densit\u00e9 in\u00e9dite pour la m\u00e9ta-analyse.<\/p>\n L’\u00e9chantillon final pr\u00e9sentait un \u00e9quilibre remarquable entre les sous-domaines, permettant une comparaison f\u00e9conde entre deux cultures empiriques majeures : la psychologie cognitive et la psychologie sociale. L’\u00e9chantillon s’est r\u00e9parti de mani\u00e8re quasi \u00e9quivalente, avec 43 \u00e9tudes issues du champ cognitif (JEP:LMC et volet cognitif de PS) et 57 \u00e9tudes \u00e9manant de la psychologie sociale et de la personnalit\u00e9 (JPSP et volet social de PS).<\/p>\n Cette r\u00e9partition a permis de mettre en relief les disparit\u00e9s architecturales entre les deux sp\u00e9cialit\u00e9s. La psychologie cognitive utilise traditionnellement des devis de recherche intra-sujets (within-subjects designs<\/em>), o\u00f9 chaque participant est soumis \u00e0 des centaines d’essais r\u00e9p\u00e9t\u00e9s, mesurant des temps de r\u00e9action fins ou des pourcentages d’erreurs avec une variance interindividuelle minimis\u00e9e. \u00c0 l’inverse, la psychologie sociale s’appuie massivement sur des devis inter-sujets (between-subjects designs<\/em>), exposant chaque volontaire \u00e0 une seule condition exp\u00e9rimentale subtile, ce qui exige des \u00e9chantillons plus larges pour isoler un effet au milieu de l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 individuelle.<\/p>\n Le choix d\u00e9lib\u00e9r\u00e9 de restreindre la fen\u00eatre temporelle \u00e0 l’ann\u00e9e unique 2008 a parfois \u00e9t\u00e9 interrog\u00e9 quant \u00e0 sa repr\u00e9sentativit\u00e9 historique. Cependant, aucune r\u00e9forme m\u00e9thodologique majeure n’ayant \u00e9t\u00e9 introduite cette ann\u00e9e-l\u00e0 par rapport aux ann\u00e9es adjacentes, cette cohorte s’est av\u00e9r\u00e9e parfaitement repr\u00e9sentative de l’\u00e2ge d’or des pratiques traditionnelles d’exp\u00e9rimentation, avant que n’\u00e9mergent les d\u00e9bats r\u00e9flexifs de la d\u00e9cennie 2010.<\/p>\n L’un des traits les plus exemplaires de la d\u00e9marche de l’Open Science Collaboration r\u00e9side dans la recherche d\u00e9lib\u00e9r\u00e9e d’une coop\u00e9ration transparente avec les auteurs originaux des publications de 2008. Loin de mener une op\u00e9ration clandestine, les r\u00e9plicateurs sont entr\u00e9s en contact direct et formel avec les auteurs initiaux avant toute initiative de laboratoire. Cette d\u00e9marche visait \u00e0 obtenir les protocoles d\u00e9taill\u00e9s, les textes int\u00e9graux des consignes verbales, les scripts informatiques d’administration des t\u00e2ches, ainsi que les stimuli visuels, auditifs ou textuels originaux.<\/p>\n Dans la vaste majorit\u00e9 des cas, cette prise de contact a \u00e9t\u00e9 marqu\u00e9e par une excellente collaboration technique. De nombreux auteurs d’origine ont rouvert leurs archives personnelles pour exhumer des mat\u00e9riels de test in\u00e9dits, des questionnaires non publi\u00e9s ou des d\u00e9tails exp\u00e9rimentaux qui avaient \u00e9t\u00e9 omis dans la publication originale en raison des restrictions d’espace \u00e9ditorial. Les divergences contextuelles in\u00e9vitables \u2014 telles que l’adaptation linguistique d’un stimulus pour un laboratoire non anglophone ou la modernisation d’une r\u00e9f\u00e9rence culturelle devenue anachronique \u2014 ont \u00e9t\u00e9 minutieusement d\u00e9battues avant l’acquisition des donn\u00e9es.<\/p>\n Bien entendu, des frictions ou des d\u00e9saccords ont occasionnellement \u00e9merg\u00e9 quant au choix des ajustements m\u00e9thodologiques. Cependant, chaque divergence de vue a fait l’objet d’une consignation \u00e9crite transparente dans les journaux d’enregistrement de l’OSF. En impliquant ainsi les cr\u00e9ateurs des paradigmes initiaux, l’OSC a d\u00e9samorc\u00e9 par anticipation l’argument simpliste selon lequel les \u00e9checs futurs de r\u00e9plication r\u00e9sulteraient de protocoles d\u00e9grad\u00e9s ou ex\u00e9cut\u00e9s de mani\u00e8re incomp\u00e9tente par des chercheurs mal inform\u00e9s.<\/p>\n L’\u00e9tape charni\u00e8re de chaque r\u00e9plication consistait en la r\u00e9daction et le verrouillage formel d’un plan d’analyse pr\u00e9-enregistr\u00e9 (pre-registration<\/em>). Avant qu’un seul participant ne franchisse le seuil du laboratoire, chaque \u00e9quipe de r\u00e9plication devait soumettre un protocole ultra-d\u00e9taill\u00e9 pr\u00e9cisant l’int\u00e9gralit\u00e9 des choix op\u00e9rationnels : crit\u00e8res d’inclusion et d’exclusion des donn\u00e9es, traitement des valeurs aberrantes (outliers<\/em>), r\u00e8gles d’arr\u00eat du recrutement statistique et formulations math\u00e9matiques pr\u00e9cises des tests d’hypoth\u00e8se \u00e0 ex\u00e9cuter.<\/p>\n L’une des exigences centrales formul\u00e9es par Brian Nosek et son \u00e9quipe de pilotage concernait la puissance statistique a priori<\/em>. Pour garantir que les tentatives de r\u00e9plication ne souffrent pas des carences historiques imput\u00e9es \u00e0 la psychologie, chaque plan d’exp\u00e9rimentation devait obligatoirement calibrer sa taille d’\u00e9chantillon pour atteindre une puissance statistique minimale de 80 %, et fr\u00e9quemment sup\u00e9rieure \u00e0 90 %, calcul\u00e9e pour d\u00e9tecter la taille d’effet rapport\u00e9e dans l’article de 2008. Cette contrainte a conduit les \u00e9quipes de r\u00e9plication \u00e0 recruter en moyenne des cohortes de participants consid\u00e9rablement plus \u00e9tendues que celles mobilis\u00e9es dans les \u00e9tudes originales.<\/p>\n Ces protocoles pr\u00e9-enregistr\u00e9s n’\u00e9taient pas de simples documents internes : ils subissaient une \u00e9valuation par les pairs au sein m\u00eame du r\u00e9seau de l’Open Science Collaboration. Des relecteurs internes auditaient les scripts de puissance, la logique des tests d’inf\u00e9rence et la fid\u00e9lit\u00e9 des manipulations. Ce blindage m\u00e9thodologique supprimait radicalement la possibilit\u00e9 du p-hacking<\/em> (le bidouillage opportuniste de donn\u00e9es) et du ph\u00e9nom\u00e8ne de HARKing<\/em> (Hypothesizing After the Results are Known<\/em>, formulation d’hypoth\u00e8ses apr\u00e8s la prise de connaissance des r\u00e9sultats), garantissant que l’analyse finale refl\u00e9terait strictement une logique confirmatoire pure.<\/p>\n Pour assurer la comparabilit\u00e9 la plus rigoureuse possible, la mise en \u0153uvre pratique des protocoles dans les laboratoires r\u00e9plicateurs a fait l’objet d’une surveillance continue et standardis\u00e9e. Les \u00e9quipes se sont attach\u00e9es \u00e0 recruter des \u00e9chantillons d\u00e9mographiques \u00e9quivalents \u00e0 ceux de 2008, g\u00e9n\u00e9ralement compos\u00e9s d’\u00e9tudiants de premier cycle universitaire, tout en consignant pr\u00e9cis\u00e9ment les profils d’\u00e2ge, de genre et d’appartenance sociolinguistique afin de pouvoir tester d’\u00e9ventuels effets mod\u00e9rateurs d\u00e9mographiques lors des analyses secondaires.<\/p>\n L’administration des \u00e9preuves a \u00e9t\u00e9 informatis\u00e9e dans tous les cas o\u00f9 cela \u00e9tait mat\u00e9riellement possible, en exploitant des logiciels de psychologie exp\u00e9rimentale d\u00e9di\u00e9s (tels que E-Prime, PsychoPy ou Inquisit). Cette uniformisation algorithmique des s\u00e9quences de stimuli et d’enregistrement des temps de r\u00e9ponse \u00e0 la milliseconde pr\u00e8s visait \u00e0 neutraliser les redout\u00e9s \u00ab effets d’exp\u00e9rimentateur \u00bb (experimenter expectancy effects<\/em> ou effet Pygmalion<\/a>), o\u00f9 les attentes inconscientes du chercheur en laboratoire orientent les r\u00e9actions comportementales des sujets observ\u00e9s.<\/p>\n Durant toute la phase de collecte, des coordinateurs centraux du projet ont men\u00e9 des audits inopin\u00e9s et syst\u00e9matiques sur la conformit\u00e9 des donn\u00e9es g\u00e9n\u00e9r\u00e9es, veillant \u00e0 ce qu’aucune alt\u00e9ration des conditions environnementales \u2014 bruit ambiant, luminosit\u00e9, \u00e9talonnage des \u00e9crans d’ordinateur ou consignes de passation \u2014 ne vienne polluer l’acquisition du signal psychologique. Cette discipline d’ex\u00e9cution a conf\u00e9r\u00e9 aux cent r\u00e9plications un degr\u00e9 de standardisation rarement \u00e9gal\u00e9 dans l’histoire des sciences comportementales.<\/p>\n L’un des d\u00e9fis m\u00e9thodologiques les plus ardus du projet r\u00e9sidait dans le choix des m\u00e9triques permettant de d\u00e9clarer formellement si une \u00e9tude avait ou non \u00e9t\u00e9 \u00ab reproduite avec succ\u00e8s \u00bb. La communaut\u00e9 scientifique ne disposant pas d’un standard universel et univoque pour d\u00e9finir le succ\u00e8s d’une r\u00e9plication, l’\u00e9quipe de coordination a judicieusement rejet\u00e9 toute d\u00e9pendance \u00e0 un crit\u00e8re unique au profit d’un faisceau convergent d’indicateurs statistiques compl\u00e9mentaires.<\/p>\n Le premier indicateur, conforme \u00e0 la pratique dominante de la discipline, s’est appuy\u00e9 sur l’\u00e9valuation binaire de la signification statistique : la tentative de r\u00e9plication a-t-elle obtenu une valeur de p<\/em> inf\u00e9rieure au seuil conventionnel de 0,05 dans la m\u00eame direction que celle rapport\u00e9e dans l’article initial de 2008 ? Bien que facile \u00e0 comprendre, cet indicateur binaire comporte de lourdes limites \u00e9pist\u00e9mologiques document\u00e9es de longue date par les statisticiens. Comparer simplement deux valeurs de p<\/em> pour d\u00e9cr\u00e9ter une divergence rel\u00e8ve d’une erreur d’inf\u00e9rence classique : la diff\u00e9rence entre un r\u00e9sultat statistiquement significatif (par exemple p<\/em> = 0,049) et un r\u00e9sultat non significatif (par exemple p<\/em> = 0,051) n’est pas elle-m\u00eame statistiquement significative.<\/p>\n De surcro\u00eet, le recours exclusif \u00e0 ce seuil binaire masque des r\u00e9alit\u00e9s quantitatives contrast\u00e9es. Une r\u00e9plication trouvant un effet de m\u00eame signe avec p<\/em> = 0,06 peut traduire une fid\u00e9lit\u00e9 empirique bien plus substantielle qu’une r\u00e9plication obtenant un p<\/em> = 0,04 avec une taille d’effet divis\u00e9e par dix sur un \u00e9chantillon d\u00e9mesur\u00e9. Malgr\u00e9 ces r\u00e9serves th\u00e9oriques, le franchissement du seuil p<\/em> < 0,05 demeurait incontournable, dans la mesure o\u00f9 il constituait pr\u00e9cis\u00e9ment le crit\u00e8re l\u00e9gitimateur sur lequel les auteurs de 2008 s’\u00e9taient appuy\u00e9s pour proclamer l’existence scientifique de leurs d\u00e9couvertes.<\/p>\n Pour contourner les pi\u00e8ges inh\u00e9rents aux seules valeurs de p<\/em>, l’Open Science Collaboration a accord\u00e9 une place centrale \u00e0 la comparaison quantitative des tailles d’effet standardis\u00e9es. Quelle que soit la nature de l’analyse originale (tests de Student, analyses de variance univari\u00e9es ou multivari\u00e9es, corr\u00e9lations lin\u00e9aires ou r\u00e9gressions), toutes les estimations ponctuelles ont \u00e9t\u00e9 converties dans des m\u00e9triques m\u00e9triques communes universellement interpr\u00e9tables, principalement le d<\/em> de Cohen et le coefficient de corr\u00e9lation r<\/em> de Pearson.<\/p>\n Cette approche a permis de calculer un indicateur fondamental : le ratio de la taille d’effet r\u00e9pliqu\u00e9e par rapport \u00e0 la taille d’effet originale. Si une d\u00e9couverte est parfaitement reproductible, ce ratio doit graviter autour de 1,00, les variations r\u00e9siduelles fluctuant al\u00e9atoirement autour de cette valeur d’\u00e9quilibre sous le simple effet de l’erreur d’\u00e9chantillonnage. \u00c0 l’inverse, un effondrement syst\u00e9matique de ce ratio vers z\u00e9ro constitue le signe indiscutable d’une surestimation d’origine ou de la fragilit\u00e9 structurelle du ph\u00e9nom\u00e8ne mesur\u00e9.<\/p>\n Les statisticiens du projet ont \u00e9galement mobilis\u00e9 des mod\u00e8les de r\u00e9gression lin\u00e9aire comparant les tailles d’effet obtenues aux tailles d’effet princeps. Cette d\u00e9marche a offert une vision dynamique de la contraction d’amplitude, illustrant comment les effets r\u00e9pliqu\u00e9s se comportent non comme des copies conformes, mais comme des versions \u00e9tiol\u00e9es des promesses quantitatives initiales.<\/p>\n Afin d’\u00e9puiser le spectre des lectures statistiques possibles, l’Open Science Collaboration a int\u00e9gr\u00e9 plusieurs outils inf\u00e9rentiels avanc\u00e9s :<\/p>\n L’utilisation combin\u00e9e de cette panoplie d’outils analytiques d’une formidable densit\u00e9 a conf\u00e9r\u00e9 aux conclusions du RP:P une robustesse m\u00e9thodologique inattaquable, fermant la voie \u00e0 toute r\u00e9futation statistique superficielle.<\/p>\n Le 28 ao\u00fbt 2015, l’Open Science Collaboration publiait dans le prestigieux magazine Science<\/em> l’article de synth\u00e8se intitul\u00e9 \u00ab Estimating the reproducibility of psychological science \u00bb. Le verdict quantitatif s’est av\u00e9r\u00e9 particuli\u00e8rement saisissant pour la communaut\u00e9 acad\u00e9mique internationale. Alors que 97 % des \u00e9tudes originales s\u00e9lectionn\u00e9es de l’ann\u00e9e 2008 affichaient des r\u00e9sultats statistiquement significatifs (p<\/em> < 0,05) \u2014 une proportion artificiellement parfaite refl\u00e9tant l’absence de publication des r\u00e9sultats nuls \u2014, seulement 36 %<\/strong> des tentatives de r\u00e9plication directe ont r\u00e9ussi \u00e0 franchir ce m\u00eame seuil canonique de significativit\u00e9.<\/p>\n L’effondrement s’est av\u00e9r\u00e9 encore plus frappant lors de l’examen de l’amplitude quantitative des ph\u00e9nom\u00e8nes mesur\u00e9s. En moyenne, la taille d’effet observ\u00e9e dans les r\u00e9plications a subi une d\u00e9flation colossale, se trouvant r\u00e9duite de plus de la moiti\u00e9 par rapport \u00e0 celle initialement rapport\u00e9e : le coefficient de corr\u00e9lation moyen est pass\u00e9 de r<\/em> = 0,403 dans les \u00e9tudes originales \u00e0 r<\/em> = 0,197 dans les \u00e9tudes reproduites. Plus de 80 % des r\u00e9plications ont enregistr\u00e9 une taille d’effet inf\u00e9rieure \u00e0 celle de l’article source de 2008.<\/p>\n Lorsque l’on examine le crit\u00e8re plus conservateur de l’inclusion dans l’intervalle de confiance, seules 47 % des tailles d’effet originales se situaient \u00e0 l’int\u00e9rieur de l’intervalle de confiance \u00e0 95 % g\u00e9n\u00e9r\u00e9 par les r\u00e9plications. Enfin, l’\u00e9valuation subjective globale des r\u00e9plicateurs eux-m\u00eames rejoignait presque trait pour trait le verdict binaire des valeurs de p<\/em>, ne validant le succ\u00e8s plein et entier de la r\u00e9plication que pour 39 des 100 tentatives. Quelle que soit la m\u00e9trique analytique retenue, le constat \u00e9tait sans \u00e9quivoque : la majeure partie de la litt\u00e9rature exp\u00e9rimentale audit\u00e9e ne parvenait pas \u00e0 surmonter l’\u00e9preuve de la r\u00e9plication ind\u00e9pendante standardis\u00e9e.<\/p>\n Au-del\u00e0 de ce panorama d’ensemble, les donn\u00e9es ventil\u00e9es ont r\u00e9v\u00e9l\u00e9 une disparit\u00e9 spectaculaire entre les grands domaines de la discipline, mat\u00e9rialisant une v\u00e9ritable fracture sous-disciplinaire :<\/p>\n1. Gen\u00e8se et contexte historique de la crise de la r\u00e9plication en psychologie<\/h2>\n
1.1 Les signaux pr\u00e9curseurs et la vuln\u00e9rabilit\u00e9 m\u00e9thodologique<\/h3>\n
1.2 La structure des incitations acad\u00e9miques traditionnelles<\/h3>\n
1.3 L’imp\u00e9ratif \u00e9pist\u00e9mologique d’une v\u00e9rification \u00e0 grande \u00e9chelle<\/h3>\n
2. L’\u00e9mergence de l’Open Science Collaboration et la gouvernance du projet<\/h2>\n
2.1 Fondation et leadership par le Center for Open Science<\/h3>\n
2.2 Un mod\u00e8le collaboratif d\u00e9centralis\u00e9 et sans pr\u00e9c\u00e9dent<\/h3>\n
2.3 Les principes directeurs d’int\u00e9grit\u00e9 et de transparence<\/h3>\n
3. Cadre \u00e9pist\u00e9mologique et objectifs fondamentaux du projet<\/h2>\n
3.1 Distinction conceptuelle entre reproductibilit\u00e9 et r\u00e9plicabilit\u00e9<\/h3>\n
3.2 Objectifs descriptifs plut\u00f4t que normatifs ou accusatoires<\/h3>\n
3.3 L’articulation th\u00e9orique de la validit\u00e9 scientifique<\/h3>\n
4. M\u00e9thodologie d’\u00e9chantillonnage et crit\u00e8res de s\u00e9lection des \u00e9tudes<\/h2>\n
4.1 La d\u00e9limitation du p\u00e9rim\u00e8tre des publications sources<\/h3>\n
\n
4.2 R\u00e8gles strictes de s\u00e9lection et d’attribution des articles<\/h3>\n
4.3 Repr\u00e9sentativit\u00e9 et contrastes sous-disciplinaires<\/h3>\n
5. Protocoles exp\u00e9rimentaux et collaboration avec les auteurs originaux<\/h2>\n
5.1 La consultation syst\u00e9matique des chercheurs initiaux<\/h3>\n
5.2 Le pr\u00e9-enregistrement exhaustif des protocoles<\/h3>\n
5.3 Le contr\u00f4le de la fid\u00e9lit\u00e9 de mise en \u0153uvre exp\u00e9rimentale<\/h3>\n
6. Indicateurs statistiques et crit\u00e8res d’\u00e9valuation de la reproductibilit\u00e9<\/h2>\n
6.1 La signification statistique et le franchissement du seuil p < 0,05<\/h3>\n
6.2 L’amplitude des tailles d’effet compar\u00e9es<\/h3>\n
6.3 M\u00e9ta-analyse et approches inf\u00e9rentielles compl\u00e9mentaires<\/h3>\n
\n
7. R\u00e9sultats quantitatifs : l’ampleur du d\u00e9ficit de r\u00e9plication<\/h2>\n
7.1 Le bilan global des 100 r\u00e9plications<\/h3>\n
7.2 La divergence marqu\u00e9e entre sous-disciplines<\/h3>\n