Au cours de la d\u00e9cennie 2010, les sciences du comportement ont travers\u00e9 un bouleversement \u00e9pist\u00e9mologique sans pr\u00e9c\u00e9dent dans l’histoire contemporaine de la recherche. Longtemps per\u00e7ue comme un \u00e9difice robuste reposant sur des d\u00e9cennies d’exp\u00e9rimentations contr\u00f4l\u00e9es en laboratoire, la psychologie scientifique a \u00e9t\u00e9 confront\u00e9e \u00e0 l’effondrement de plusieurs de ses paradigmes fondateurs. Les doutes diffus sur la fiabilit\u00e9 des d\u00e9couvertes publi\u00e9es se sont mu\u00e9s en une crise structurelle g\u00e9n\u00e9ralis\u00e9e, r\u00e9v\u00e9lant la vuln\u00e9rabilit\u00e9 d’un mod\u00e8le acad\u00e9mique fond\u00e9 sur la qu\u00eate effr\u00e9n\u00e9e du r\u00e9sultat statistiquement significatif et l’isolement des \u00e9quipes de recherche.<\/p>\n
Face \u00e0 ce constat alarmant, une avant-garde de chercheurs issus de la mouvance de la science ouverte a entrepris de repenser radicalement les modalit\u00e9s de production et de v\u00e9rification des connaissances empiriques. Plut\u00f4t que de s’en remettre \u00e0 des r\u00e9plications isol\u00e9es, conduites par de petites \u00e9quipes au pouvoir statistique souvent insuffisant et aux biais m\u00e9thodologiques persistants, ces scientifiques ont formul\u00e9 un mod\u00e8le in\u00e9dit de coop\u00e9ration transnationale : les projets de r\u00e9plication massive Many Labs<\/em>. En f\u00e9d\u00e9rant des dizaines, voire des centaines de laboratoires ind\u00e9pendants autour de protocoles strictement standardis\u00e9s et pr\u00e9-enregistr\u00e9s, ces initiatives ont ouvert une \u00e8re nouvelle de m\u00e9tascience empirique.<\/p>\n Le pr\u00e9sent article propose une analyse approfondie et exhaustive des projets Many Labs<\/em>. En explorant leur gen\u00e8se historique, leur architecture m\u00e9thodologique sophistiqu\u00e9e, les r\u00e9sultats empiriques des cinq volets principaux, ainsi que leurs r\u00e9percussions statistiques, th\u00e9oriques et institutionnelles, nous mettrons en lumi\u00e8re la mani\u00e8re dont ces consortiums ont red\u00e9fini la notion m\u00eame de fait scientifique en psychologie. Ce voyage au c\u0153ur de la \u00ab Big Team Science \u00bb \u00e9claire les promesses et les dilemmes d’une discipline engag\u00e9e dans une refondation m\u00e9thodique de sa cr\u00e9dibilit\u00e9 \u00e9pist\u00e9mique.<\/p>\n L’\u00e9tincelle qui a embras\u00e9 la psychologie exp\u00e9rimentale s’est produite au d\u00e9but de l’ann\u00e9e 2011 avec la parution, dans la prestigieuse revue Journal of Personality and Social Psychology<\/em>, d’un article de Daryl Bem<\/a> intitul\u00e9 \u00ab Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect \u00bb. \u00c0 travers neuf exp\u00e9riences men\u00e9es aupr\u00e8s de plus de mille participants, ce psychologue chevronn\u00e9 de l’Universit\u00e9 Cornell affirmait avoir mis en \u00e9vidence l’existence de la pr\u00e9cognition, c’est-\u00e0-dire la capacit\u00e9 d’individus ordinaires \u00e0 percevoir des stimuli futurs de mani\u00e8re t\u00e9l\u00e9pathique ou r\u00e9troactive. D’un point de vue purement formel, l’article respectait scrupuleusement les canons m\u00e9thodologiques alors en vigueur : hypoth\u00e8ses ancr\u00e9es dans un cadre exp\u00e9rimental, calculs de seuil de signification conventionnels ($p < .05$) et proc\u00e9dures de r\u00e9vision par les pairs sans anicroche. Pourtant, la conclusion heuristique \u00e9tait scientifiquement intenable, for\u00e7ant la communaut\u00e9 \u00e0 reconna\u00eetre une faille b\u00e9ante : si des protocoles m\u00e9thodologiques standards pouvaient authentifier un ph\u00e9nom\u00e8ne d\u00e9fiant les lois de la thermodynamique, c'est que les normes d'\u00e9valuation elles-m\u00eames \u00e9taient d\u00e9ficientes.<\/p>\n Cette d\u00e9flagration a co\u00efncid\u00e9 avec la mise au jour de fraudes scientifiques d’une ampleur in\u00e9dite, en premier lieu celle du psychologue social n\u00e9erlandais Diederik Stapel. Enqu\u00eate apr\u00e8s enqu\u00eate, il s’est av\u00e9r\u00e9 que Stapel avait purement et simplement falsifi\u00e9 ou invent\u00e9 les jeux de donn\u00e9es de dizaines de publications acclam\u00e9es, trompant coll\u00e8gues et \u00e9valuateurs pendant pr\u00e8s de deux d\u00e9cennies. Si le cas Stapel relevait de la pathologie d\u00e9ontologique, il a fonctionn\u00e9 comme un catalyseur r\u00e9v\u00e9lant une zone grise bien plus pernicieuse : les pratiques de recherche contestables (Questionable Research Practices<\/em> ou QRPs), omnipr\u00e9sentes dans les laboratoires de par le monde.<\/p>\n Parmi ces d\u00e9rives m\u00e9thodologiques, les statisticiens ont rapidement formalis\u00e9 le concept de p-hacking<\/em>, document\u00e9 de mani\u00e8re \u00e9clatante par Simmons, Nelson et Simonsohn (2011)<\/a> sous le vocable de \u00ab degr\u00e9s de libert\u00e9 du chercheur \u00bb. Ce m\u00e9canisme regroupe une panoplie de micro-d\u00e9cisions prises au fil de l’eau : tester plusieurs variables d\u00e9pendantes mais ne rapporter que celle qui atteint le seuil d’erreur alpha de 5 %, exclure arbitrairement des participants jug\u00e9s \u00ab atypiques \u00bb apr\u00e8s avoir examin\u00e9 leur effet sur la significativit\u00e9 statistique, arr\u00eater la collecte de donn\u00e9es d\u00e8s que le r\u00e9sultat devient significatif ou encore multiplier les conditions exp\u00e9rimentales. Conjugu\u00e9 au ph\u00e9nom\u00e8ne de HARKing<\/em> (Hypothesizing After the Results are Known<\/em>, conceptualis\u00e9 par Norbert Kerr), qui consiste \u00e0 pr\u00e9senter des r\u00e9sultats purement exploratoires et fortuits comme des v\u00e9rifications d\u00e9ductives d’hypoth\u00e8ses th\u00e9oriques pr\u00e9alables, l’arsenal empirique de la psychologie se trouvait gangren\u00e9 par une prolif\u00e9ration massive de faux positifs masqu\u00e9s sous les oripeaux de la rigueur acad\u00e9mique.<\/p>\n Face \u00e0 l’accumulation de ces anomalies m\u00e9thodologiques, la communaut\u00e9 scientifique ne pouvait plus se contenter de soup\u00e7ons informels ou de d\u00e9bats th\u00e9oriques abstraits. Sous l’impulsion de Brian Nosek et du tout jeune Center for Open Science<\/em>, une initiative collective d’une ampleur sans pr\u00e9c\u00e9dent s’est mise en place : l’Open Science Collaboration<\/em>. Pendant plusieurs ann\u00e9es, des centaines de chercheurs b\u00e9n\u00e9voles \u00e0 travers le monde ont m\u00e9thodiquement s\u00e9lectionn\u00e9 cent \u00e9tudes parues en 2008 dans trois des revues de psychologie les plus influentes au monde (Journal of Experimental Psychology: Learning, Memory, and Cognition<\/em>, Journal of Personality and Social Psychology<\/em>, et Psychological Science<\/em>), afin d’en r\u00e9aliser des r\u00e9plications directes selon des crit\u00e8res de fid\u00e9lit\u00e9 exp\u00e9rimentale stricts.<\/p>\n Les conclusions du Reproducibility Project: Psychology (RP:P)<\/a>, publi\u00e9es dans la revue Science<\/em> en ao\u00fbt 2015, ont provoqu\u00e9 un s\u00e9isme dont les r\u00e9pliques structurent encore le paysage de la recherche contemporaine. Alors que 97 % des publications originales rapportaient des r\u00e9sultats statistiquement significatifs en faveur de leurs hypoth\u00e8ses, seules 36 % des r\u00e9plications directes ont r\u00e9ussi \u00e0 obtenir un effet significatif au seuil conventionnel ($p < .05$). M\u00eame en adoptant des crit\u00e8res d'\u00e9valuation plus souples bas\u00e9s sur des m\u00e9ta-analyses combinant l'\u00e9tude princeps et sa r\u00e9plication, moins de la moiti\u00e9 des paradigmes ont r\u00e9sist\u00e9 \u00e0 l'\u00e9preuve des faits.<\/p>\n Plus inqui\u00e9tant encore que le seul taux d’\u00e9chec, la chute globale des tailles d’effet a r\u00e9v\u00e9l\u00e9 une distorsion syst\u00e9matique de la litt\u00e9rature acad\u00e9mique. En moyenne, la taille d’effet observ\u00e9e dans les r\u00e9plications repr\u00e9sentait \u00e0 peine la moiti\u00e9 de celle initialement publi\u00e9e ($d$<\/span> de Cohen moyen chutant de 0,403 dans les originaux \u00e0 0,197 dans les r\u00e9plications). Cette divergence a mis en lumi\u00e8re un biais de publication massif, coupl\u00e9 \u00e0 une inflation structurelle des effets due au fait que seules les \u00e9tudes statistiquement significatives parvenaient \u00e0 franchir le filtre \u00e9ditorial des comit\u00e9s de lecture. Le constat devenait incontournable : la psychologie souffrait d’un probl\u00e8me fondamental de validit\u00e9 interne et de reproductibilit\u00e9, imposant la cr\u00e9ation imm\u00e9diate d’instruments d’\u00e9valuation plus puissants, transparents et standardis\u00e9s.<\/p>\n Le diagnostic pos\u00e9 par le projet de l’Open Science Collaboration<\/em> comportait n\u00e9anmoins une limite interpr\u00e9tative que les d\u00e9fenseurs des paradigmes originaux n’ont pas manqu\u00e9 de souligner. En effet, la grande majorit\u00e9 des r\u00e9plications du RP:P avaient \u00e9t\u00e9 conduites par un seul laboratoire pour chaque \u00e9tude donn\u00e9e. D\u00e8s lors, un \u00e9chec de r\u00e9plication pouvait th\u00e9oriquement s’expliquer par un ensemble de facteurs contingents : un manque de comp\u00e9tence technique de l’exp\u00e9rimentateur local, des variations contextuelles ou culturelles subtiles entre la population d’origine et la population de r\u00e9plication, ou encore un simple manque de puissance statistique locale, la taille des \u00e9chantillons n’\u00e9tant pas toujours suffisante pour d\u00e9tecter des effets plus modestes que pr\u00e9vu.<\/p>\n Pour d\u00e9passer cette impasse \u00e9pist\u00e9mologique et dissocier les v\u00e9ritables artefacts d’\u00e9chantillonnage de la non-reproductibilit\u00e9 intrins\u00e8que d’un effet psychologique, il devenait indispensable de changer d’\u00e9chelle d’observation. L’\u00e9tude isol\u00e9e, r\u00e9alis\u00e9e au sein d’un laboratoire unique disposant de quelques dizaines d’\u00e9tudiants de premier cycle, a r\u00e9v\u00e9l\u00e9 ses limites structurelles : elle est par nature incapable d’estimer avec pr\u00e9cision la variance inter-sites et l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 r\u00e9elle d’un ph\u00e9nom\u00e8ne.<\/p>\n C’est de cette prise de conscience qu’a \u00e9merg\u00e9 le paradigme de la \u00ab Big Team Science \u00bb appliqu\u00e9e \u00e0 la psychologie exp\u00e9rimentale. L’ambition n’\u00e9tait plus de confier l’\u00e9valuation d’un ph\u00e9nom\u00e8ne \u00e0 un chercheur isol\u00e9, mais de mobiliser un vaste r\u00e9seau international de laboratoires partenaires appliquant simultan\u00e9ment un protocole identique. En agr\u00e9geant les donn\u00e9es de milliers de participants r\u00e9partis sur plusieurs continents, les chercheurs pouvaient atteindre une puissance statistique ph\u00e9nom\u00e9nale (souvent sup\u00e9rieure \u00e0 99 % pour des tailles d’effet mod\u00e9r\u00e9es) tout en quantifiant directement si un r\u00e9sultat variait en fonction de la g\u00e9ographie, des populations ou des particularismes institutionnels. La transition vers les projets Many Labs<\/em> \u00e9tait scell\u00e9e.<\/p>\n Initi\u00e9 par Richard A. Klein, Fred Hasselman et une constellation de jeunes chercheurs d\u00e9sireux de refonder la m\u00e9thodologie de leur discipline, le mouvement Many Labs<\/em> repose sur un contrat collaboratif novateur. Le postulat directeur est simple : mutualiser les infrastructures mat\u00e9rielles, les ressources humaines et les comp\u00e9tences analytiques d’\u00e9quipes diss\u00e9min\u00e9es \u00e0 travers le monde afin de soumettre des hypoth\u00e8ses cibl\u00e9es \u00e0 l’\u00e9preuve empirique la plus exigeante qui soit. Cette mise en commun des moyens permet de s’extraire de la logique concurrentielle classique pour embrasser un fonctionnement synchrone et distribu\u00e9.<\/p>\n Le socle d\u00e9ontologique de ces projets repose sur trois piliers indissociables : le pr\u00e9-enregistrement syst\u00e9matique, la standardisation absolue des d\u00e9marches exp\u00e9rimentales et la politique rigoureuse de libre acc\u00e8s. Avant m\u00eame la passation du tout premier sujet, l’int\u00e9gralit\u00e9 du protocole d’\u00e9tude \u2014 incluant les hypoth\u00e8ses op\u00e9rationnelles, le calcul de puissance a priori, le mat\u00e9riel exp\u00e9rimental, les crit\u00e8res d’exclusion des donn\u00e9es et le plan d’analyse statistique complet \u2014 est d\u00e9pos\u00e9e publiquement sur la plateforme de l’Open Science Framework (OSF)<\/a>. Ce verrouillage pr\u00e9alable \u00e9limine purement et simplement le p-hacking<\/em> r\u00e9trospectif et la r\u00e9\u00e9criture opportuniste des objectifs de recherche.<\/p>\n Par ailleurs, l’engagement envers la transparence se traduit par la mise \u00e0 disposition publique imm\u00e9diate des donn\u00e9es brutes d\u00e9sidentifi\u00e9es, des m\u00e9tadonn\u00e9es contextuelles de chaque laboratoire et des scripts d’analyse informatique (r\u00e9dig\u00e9s principalement sous l’environnement R). Cette politique d’audit permanent permet \u00e0 n’importe quel chercheur ind\u00e9pendant de r\u00e9pliquer pas \u00e0 pas les r\u00e9sultats num\u00e9riques, de v\u00e9rifier la conformit\u00e9 des algorithmes d’estimation et de tester des mod\u00e8les analytiques alternatifs, \u00e9rigeant la reproductibilit\u00e9 computationnelle en norme absolue du consortium.<\/p>\n L’une des innovations majeures introduites par les initiatives Many Labs<\/em> r\u00e9side dans la r\u00e9duction drastique de ce que Wicherts et ses collaborateurs (2016) ont baptis\u00e9 les \u00ab degr\u00e9s de libert\u00e9 du chercheur \u00bb. Dans une \u00e9tude de psychologie traditionnelle, l’exp\u00e9rimentateur dispose d’une marge d’arbitraire consid\u00e9rable quant \u00e0 l’attitude \u00e0 adopter face aux participants, aux explications orales fournies, au filtrage des donn\u00e9es bruit\u00e9es ou au choix des r\u00e9gressions statistiques. Au sein du dispositif Many Labs<\/em>, cette variabilit\u00e9 idiosyncrasique est intentionnellement compress\u00e9e au maximum.<\/p>\n Pour y parvenir, les consortiums s’appuient sur des scripts de passation informatis\u00e9s universels (souvent programm\u00e9s sous Qualtrics, Inquisit ou des biblioth\u00e8ques JavaScript standardis\u00e9es comme jsPsych). Que le participant se trouve \u00e0 Stanford, \u00e0 Varsovie, \u00e0 Santiago ou \u00e0 Tokyo, il lit exactement les m\u00eames consignes, visualis\u00e9es selon le m\u00eame calibrage d’interface, et r\u00e9pond aux stimuli dans des conditions temporelles rigoureusement synchronis\u00e9es. L’intervention humaine des exp\u00e9rimentateurs locaux est r\u00e9duite \u00e0 l’accueil standardis\u00e9 et \u00e0 l’ouverture de la session informatique, minimisant l’effet d’attente de l’exp\u00e9rimentateur (experimenter expectancy effect<\/em> ou effet Rosenthal).<\/p>\n De surcro\u00eet, les crit\u00e8res d’exclusion des donn\u00e9es font l’objet d’une d\u00e9finition op\u00e9rationnelle non n\u00e9gociable : vitesse minimale ou maximale de r\u00e9ponse pour \u00e9carter les clics erratiques, seuil d’\u00e9chec aux questions d’attention (attention checks<\/em>) et traitement standardis\u00e9 des donn\u00e9es manquantes. Une fronti\u00e8re \u00e9tanche est trac\u00e9e entre les analyses dites confirmatoires \u2014 strictement d\u00e9limit\u00e9es dans le pr\u00e9-enregistrement et visant \u00e0 valider ou invalider les hypoth\u00e8ses centrales \u2014 et d’\u00e9ventuelles analyses exploratoires ult\u00e9rieures, express\u00e9ment \u00e9tiquet\u00e9es comme telles afin d’\u00e9viter toute confusion \u00e9pist\u00e9mique.<\/p>\n Le choix des effets psychologiques soumis au crible des projets Many Labs<\/em> ne s’op\u00e8re pas au hasard : il r\u00e9sulte d’un arbitrage minutieux visant \u00e0 maximiser la port\u00e9e heuristique des collectes. Les coordinateurs veillent syst\u00e9matiquement \u00e0 \u00e9quilibrer les protocoles en y int\u00e9grant trois grandes cat\u00e9gories de ph\u00e9nom\u00e8nes exp\u00e9rimentaux, dessinant un panorama complet du paysage de la psychologie contemporaine.<\/p>\n En premier lieu, les projets int\u00e8grent des effets dits \u00ab classiques \u00bb, document\u00e9s de longue date et \u00e9rig\u00e9s au rang de dogmes indiscutables dans les manuels universitaires (par exemple l’effet Stroop, l’effet d’ancrage ou la th\u00e9orie des perspectives). L’enjeu consiste ici \u00e0 v\u00e9rifier si ces piliers de la discipline r\u00e9sistent \u00e0 des m\u00e9thodologies modernes d’\u00e9chantillonnage et \u00e0 des proc\u00e9dures d’analyse contemporaines. En second lieu, les consortiums s\u00e9lectionnent des effets plus r\u00e9cents, issus de revues de premier plan, ayant suscit\u00e9 un immense retentissement th\u00e9orique et m\u00e9diatique (comme l’amor\u00e7age social, l’\u00e9puisement de l’ego ou la saillance de la mortalit\u00e9), mais dont la robustesse n’a jamais \u00e9t\u00e9 valid\u00e9e en dehors du laboratoire d’origine.<\/p>\n Enfin, les concepteurs prennent grand soin d’incorporer des effets r\u00e9put\u00e9s extr\u00eamement solides et universels, servant de \u00ab t\u00e9moins m\u00e9thodologiques positifs \u00bb (positive controls<\/em>). L’int\u00e9gration de ces t\u00e9moins permet de r\u00e9pondre par anticipation aux objections critiques : si un laboratoire donn\u00e9 \u00e9choue \u00e0 observer un effet t\u00e9moin incontestable (comme la sensibilit\u00e9 \u00e0 des variations massives de contraste perceptif ou des heuristiques cognitives \u00e9l\u00e9mentaires), ses donn\u00e9es peuvent \u00eatre invalid\u00e9es pour cause de dysfonctionnement technique ou de non-engagement flagrant des participants. Cette matrice de s\u00e9lection est soumise \u00e0 une consultation communautaire ouverte sur les r\u00e9seaux scientifiques avant le lancement des collectes, garantissant l’adh\u00e9sion d’un large panel d’experts quant \u00e0 la pertinence des paradigmes \u00e9prouv\u00e9s.<\/p>\n Publi\u00e9 en 2014 sous la direction de Richard A. Klein et de dizaines de co-auteurs<\/a>, le projet inaugural Many Labs 1<\/em> a constitu\u00e9 la premi\u00e8re preuve de concept \u00e9clatante de la Big Team Science appliqu\u00e9e \u00e0 l’\u00e9valuation exp\u00e9rimentale. Le dispositif r\u00e9unissait 36 laboratoires ind\u00e9pendants situ\u00e9s dans plusieurs pays (notamment aux \u00c9tats-Unis, au Canada, au Royaume-Uni, aux Pays-Bas, en Allemagne, en Malaisie et en R\u00e9publique tch\u00e8que), d\u00e9montrant la faisabilit\u00e9 d’une coop\u00e9ration scientifique horizontale d\u00e9centralis\u00e9e.<\/p>\n Le protocole avait pour ambition d’\u00e9valuer de mani\u00e8re simultan\u00e9e treize paradigmes exp\u00e9rimentaux majeurs, combinant psychologie cognitive, \u00e9conomie comportementale et psychologie sociale. L’ensemble des t\u00e2ches \u00e9tait int\u00e9gr\u00e9 dans une passation unique d’une dur\u00e9e d’environ trente minutes, administr\u00e9e \u00e0 la fois aupr\u00e8s de cohortes d’\u00e9tudiants traditionnels test\u00e9s en laboratoire physique et aupr\u00e8s d’\u00e9chantillons en ligne recrut\u00e9s via la plateforme de micro-travail Amazon Mechanical Turk (MTurk).<\/p>\n Au terme de la collecte, le jeu de donn\u00e9es consolid\u00e9 comprenait 6 344 participants, un effectif global record et sans pr\u00e9c\u00e9dent pour une \u00e9tude de psychologie exp\u00e9rimentale multi-paradigmes. Cette masse de donn\u00e9es conf\u00e9rait \u00e0 l’analyse une sensibilit\u00e9 statistique extraordinaire, permettant de d\u00e9tecter des tailles d’effet infinit\u00e9simales et de mod\u00e9liser avec une pr\u00e9cision math\u00e9matique in\u00e9gal\u00e9e la distribution spatiale et contextuelle des r\u00e9sultats.<\/p>\n Les r\u00e9sultats empiriques de Many Labs 1<\/em> ont r\u00e9v\u00e9l\u00e9 un contraste saisissant entre la robustesse in\u00e9branlable des fonctions cognitives fondamentales et la fragilit\u00e9 patente de certains effets de psychologie sociale \u00e0 la mode. Les effets relevant du jugement, de la prise de d\u00e9cision et du traitement de l’information ont affich\u00e9 une reproductibilit\u00e9 spectaculaire. L’effet d’ancrage classique formalis\u00e9 par Tversky et Kahneman (1974)<\/a> a ainsi \u00e9t\u00e9 r\u00e9pliqu\u00e9 avec une fid\u00e9lit\u00e9 absolue dans l’ensemble des sites de test, affichant des tailles d’effet massives ($d > 2.0$<\/span>). De m\u00eame, le paradigme de compatibilit\u00e9 stimulus-r\u00e9ponse (l’effet Stroop et ses variantes cognitives), le biais de cadrage (framing effect<\/em>) et l’effet de repr\u00e9sentativit\u00e9 ont travers\u00e9 l’\u00e9preuve sans la moindre alt\u00e9ration m\u00e9thodologique.<\/p>\n \u00c0 l’inverse, les paradigmes relevant de l’amor\u00e7age comportemental et implicite \u2014 domaine particuli\u00e8rement valoris\u00e9 par la psychologie sociale des ann\u00e9es 1990 et 2000 \u2014 ont essuy\u00e9 un revers d\u00e9vastateur. L’\u00e9tude tr\u00e8s m\u00e9diatis\u00e9e de Carter et al. (2011), affirmant qu’une exposition visuelle subliminale ou incidente \u00e0 l’image du drapeau national am\u00e9ricain augmentait durablement les attitudes politiques conservatrices et les intentions de vote r\u00e9publicaines chez les participants, n’a pu \u00eatre r\u00e9pliqu\u00e9e : la taille d’effet mesur\u00e9e \u00e0 travers les diff\u00e9rents sites oscillait autour de z\u00e9ro ($d = 0.03$<\/span>), sans aucune significativit\u00e9 statistique.<\/p>\n De la m\u00eame fa\u00e7on, l’exp\u00e9rience d’amor\u00e7age conceptuel relative \u00e0 la monnaie formul\u00e9e par Kathleen Vohs et ses coll\u00e8gues, postulant que le simple fait de manipuler ou d’observer des repr\u00e9sentations financi\u00e8res induisait un comportement individualiste et une distance sociale marqu\u00e9e, a produit des r\u00e9sultats statistiquement nuls. Ces \u00e9checs ont confirm\u00e9 les alertes m\u00e9thodologiques ant\u00e9rieures : des effets pr\u00e9sent\u00e9s comme r\u00e9volutionnaires dans des revues prestigieuses s’av\u00e9raient \u00eatre, en r\u00e9alit\u00e9, des illusions statistiques dues \u00e0 des \u00e9chantillons originaux excessivement r\u00e9duits et \u00e0 des biais de publication end\u00e9miques.<\/p>\n L’apport le plus fondamental de Many Labs 1<\/em> ne r\u00e9sidait pas seulement dans son verdict binaire (succ\u00e8s ou \u00e9chec de r\u00e9plication), mais dans sa capacit\u00e9 in\u00e9dite \u00e0 quantifier l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 des tailles d’effet entre laboratoires ind\u00e9pendants. Avant cette \u00e9tude, l’argumentaire quasi-universellement oppos\u00e9 aux r\u00e9plications infructueuses consistait \u00e0 invoquer la sp\u00e9cificit\u00e9 des contextes locaux : telle universit\u00e9 h\u00e9bergerait des \u00e9tudiants plus sceptiques, tel environnement comporterait des distractions non contr\u00f4l\u00e9es ou les subtilit\u00e9s culturelles locales inhiberaient le ph\u00e9nom\u00e8ne.<\/p>\n Les mod\u00e9lisations statistiques de Many Labs 1<\/em> ont litt\u00e9ralement pulv\u00e9ris\u00e9 cette explication de convenance. En calculant les param\u00e8tres d’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 m\u00e9ta-analytiques, les chercheurs ont constat\u00e9 que la variance inter-sites \u00e9tait quasi-nulle pour la plupart des paradigmes examin\u00e9s. Lorsqu’un effet \u00e9tait scientifiquement r\u00e9el (\u00e0 l’instar de l’ancrage ou du cadrage), il apparaissait de mani\u00e8re constante, puissante et homog\u00e8ne dans les 36 laboratoires, qu’ils soient situ\u00e9s au c\u0153ur d’un campus am\u00e9ricain prestigieux ou dans une universit\u00e9 d’Asie du Sud-Est. R\u00e9ciproquement, lorsqu’un effet \u00e9tait nul (comme l’amor\u00e7age du drapeau), il restait opini\u00e2trement plat et ind\u00e9tectable partout, sans qu’aucun site ne parvienne \u00e0 faire \u00e9merger une quelconque significativit\u00e9.<\/p>\n De surcro\u00eet, la comparaison directe entre les passations conduites en pr\u00e9sentiel dans des laboratoires universitaires et celles recueillies en ligne sur Amazon MTurk a d\u00e9montr\u00e9 une convergence frappante des m\u00e9triques d’effet. Ce constat a d\u00e9finitivement balay\u00e9 l’id\u00e9e re\u00e7ue selon laquelle les \u00e9chantillons recrut\u00e9s sur Internet offriraient des donn\u00e9es de qualit\u00e9 inf\u00e9rieure en raison d’une suppos\u00e9e inattention des r\u00e9pondants. Le facteur d\u00e9terminant de la r\u00e9ussite d’une r\u00e9plication n’est ni le lieu physique ni la population d’accueil : c’est la robustesse intrins\u00e8que du ph\u00e9nom\u00e8ne th\u00e9orique sous-jacent.<\/p>\n Forts du succ\u00e8s m\u00e9thodologique de la premi\u00e8re \u00e9dition, les chercheurs ont initi\u00e9 un projet aux proportions d\u00e9cupl\u00e9es : Many Labs 2<\/em>. Dirig\u00e9 \u00e0 nouveau par Richard A. Klein et une \u00e9quipe de coordinateurs internationaux, ce deuxi\u00e8me volet s’est donn\u00e9 pour mission de s’attaquer \u00e0 l’un des angles morts les plus d\u00e9cri\u00e9s des sciences comportementales : le biais WEIRD, acronyme d\u00e9signant les populations occidentales, \u00e9duqu\u00e9es, industrialis\u00e9es, riches et d\u00e9mocratiques (Henrich, Heine et Norenzayan, 2010<\/a>). Pendant des d\u00e9cennies, la psychologie a pr\u00e9tendu \u00e9noncer des lois universelles sur l’esprit humain en testant presque exclusivement des \u00e9tudiants nord-am\u00e9ricains et europ\u00e9ens de premi\u00e8re ann\u00e9e d’universit\u00e9.<\/p>\n Pour briser cet ethnocentrisme empirique, Many Labs 2<\/em> a orchestr\u00e9 une infrastructure plan\u00e9taire sans pr\u00e9c\u00e9dent : 125 laboratoires partenaires diss\u00e9min\u00e9s dans 36 pays et territoires souverains, repr\u00e9sentant les six continents habit\u00e9s. Des protocoles ont ainsi \u00e9t\u00e9 administr\u00e9s dans des contextes aussi diversifi\u00e9s que l’Inde, la Turquie, le Chili, la Namibie, la Malaisie, la Chine rurale ou les centres urbains du Moyen-Orient, totalisant un effectif vertigineux de 15 305 participants.<\/p>\n Cette internationalisation massive a exig\u00e9 un effort logistique et psychom\u00e9trique titanesque. Les stimuli exp\u00e9rimentaux et les questionnaires associ\u00e9s ont fait l’objet de protocoles de traduction et de contre-traduction rigoureusement contr\u00f4l\u00e9s, impliquant des linguistes et des psychologues natifs afin d’assurer l’\u00e9quivalence s\u00e9mantique et la pertinence culturelle des mat\u00e9riels. Vingt-huit effets psychologiques classiques et modernes, r\u00e9partis en deux protocoles d’administration distincts pour \u00e9viter l’\u00e9puisement cognitif des sujets, ont \u00e9t\u00e9 minutieusement \u00e9valu\u00e9s au cours de ce d\u00e9ploiement global.<\/p>\n Les conclusions empiriques de Many Labs 2<\/a>, publi\u00e9es en d\u00e9cembre 2018 dans la revue Advances in Methods and Practices in Psychological Science<\/em>, ont apport\u00e9 une r\u00e9ponse nuanc\u00e9e mais d\u00e9stabilisante quant \u00e0 l’influence de la culture sur les lois fondamentales de la psychologie. Globalement, sur les 28 effets cibl\u00e9s, exactement la moiti\u00e9 (14 effets, soit 50 %) a \u00e9t\u00e9 r\u00e9pliqu\u00e9e avec succ\u00e8s selon les seuils statistiques confirmatoires pr\u00e9-enregistr\u00e9s, tandis que l’autre moiti\u00e9 \u00e9chouait \u00e0 manifester des effets fiables ou mesurables.<\/p>\n Le point le plus remarquable a trait \u00e0 l’invariance g\u00e9ographique des r\u00e9sultats. Contrairement aux intuitions post-modernes postulant une plasticit\u00e9 culturelle totale des processus cognitifs, les 14 effets robustes se sont manifest\u00e9s avec une vigueur comparable dans les soci\u00e9t\u00e9s occidentales et non-occidentales. Des ph\u00e9nom\u00e8nes comme l’effet d’ordre des choix, la sensibilit\u00e9 aux pertes, l’heuristique de disponibilit\u00e9 ou l’erreur d’attribution fondamentale ont conserv\u00e9 leur direction et leur magnitude qu’ils soient \u00e9valu\u00e9s \u00e0 Montr\u00e9al, \u00e0 Pretoria ou \u00e0 S\u00e9oul. L’architecture de base du jugement humain a r\u00e9v\u00e9l\u00e9 un degr\u00e9 d’universalit\u00e9 trans-\u00e9chantillonnal remarquable.<\/p>\n \u00c0 l’oppos\u00e9, les paradigmes d\u00e9faillants ont \u00e9chou\u00e9 de mani\u00e8re tout aussi universelle. L’amor\u00e7age social complexe \u2014 \u00e0 l’instar des travaux affirmant que l’exposition implicite \u00e0 des concepts d’\u00e9l\u00e9vation morale ou de propret\u00e9 physique modifierait instantan\u00e9ment les jugements \u00e9thiques \u2014 a g\u00e9n\u00e9r\u00e9 des tailles d’effet r\u00e9siduelles statistiquement insignifiantes aussi bien au sein des cultures collectivistes que des cultures individualistes. L’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 observ\u00e9e ne se situait donc pas entre les civilisations, mais bien entre les objets d’\u00e9tude : certains processus exp\u00e9rimentaux sont des r\u00e9alit\u00e9s scientifiques robustes, tandis que d’autres s’apparentent \u00e0 des artefacts de publications pass\u00e9es.<\/p>\n L’apport \u00e9pist\u00e9mologique capital de Many Labs 2<\/em> a \u00e9t\u00e9 de tester math\u00e9matiquement l’hypoth\u00e8se de la \u00ab mod\u00e9ration contextuelle \u00bb. Dans le sillage de la crise de la reproductibilit\u00e9, nombre de th\u00e9oriciens avaient tent\u00e9 de sauver les \u00e9tudes non r\u00e9pliqu\u00e9es en affirmant que les effets psychologiques \u00e9taient si sensibles aux micro-variables d’environnement (climat politique, appartenance religieuse de la cohorte, statut socio-\u00e9conomique per\u00e7u de l’\u00e9valuateur) qu’une r\u00e9plication hors de la fen\u00eatre spatiotemporelle originelle \u00e9tait n\u00e9cessairement vou\u00e9e \u00e0 l’\u00e9chec.<\/p>\n Gr\u00e2ce \u00e0 des r\u00e9gressions m\u00e9ta-analytiques multiniveaux et au calcul pr\u00e9cis du coefficient d’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 r\u00e9elle ($tau$<\/span>), Many Labs 2<\/em> a inflig\u00e9 un d\u00e9menti cat\u00e9gorique \u00e0 cette posture th\u00e9orique. Pour la majorit\u00e9 \u00e9crasante des effets examin\u00e9s, la variance syst\u00e9matique attribuable aux sites g\u00e9ographiques s’est av\u00e9r\u00e9e extraordinairement faible. Les indices de contextualisation (mesur\u00e9s \u00e0 travers des gradients de distance culturelle, des \u00e9chelles de valeurs soci\u00e9tales d’Inglehart-Welzel ou des indices de d\u00e9veloppement humain) n’expliquaient qu’une fraction marginale de la variance des tailles d’effet.<\/p>\n Ces donn\u00e9es d\u00e9montrent que brandir \u00ab l’effet de contexte \u00bb pour disqualifier un \u00e9chec de r\u00e9plication rel\u00e8ve bien souvent de l’immunisation \u00e9pist\u00e9mique non falsifiable plut\u00f4t que de la rigueur scientifique. Les chercheurs ont ainsi \u00e9tabli de nouveaux standards d’\u00e9valuation : pour qu’une variable contextuelle puisse \u00eatre consid\u00e9r\u00e9e comme un mod\u00e9rateur authentique d’un effet psychologique, elle doit \u00eatre postul\u00e9e a priori, int\u00e9gr\u00e9e \u00e0 un mod\u00e8le formellement testable et confirm\u00e9e empiriquement sur des \u00e9chantillons multisites contrast\u00e9s, et non invoqu\u00e9e r\u00e9trospectivement comme une excuse post-hoc pour masquer la fragilit\u00e9 empirique d’une publication.<\/p>\n Dans la pratique quotidienne des d\u00e9partements de psychologie universitaire, un pr\u00e9jug\u00e9 m\u00e9thodologique tenace s’est transmis de g\u00e9n\u00e9ration en g\u00e9n\u00e9ration de chercheurs sans jamais avoir fait l’objet d’une \u00e9valuation exp\u00e9rimentale syst\u00e9matique : l’effet du calendrier acad\u00e9mique sur la motivation et la cognition des \u00e9tudiants participants. Selon cette croyance largement partag\u00e9e, les donn\u00e9es recueillies au cours des premi\u00e8res semaines du semestre d’automne seraient de qualit\u00e9 nettement sup\u00e9rieure \u00e0 celles r\u00e9colt\u00e9es au cours des derni\u00e8res semaines.<\/p>\n La justification th\u00e9orique semblait s\u00e9duisante : en d\u00e9but de cycle universitaire, les \u00e9tudiants volontaires seraient plus frais mentalement, plus consciencieux et anim\u00e9s d’une curiosit\u00e9 intellectuelle intacte pour satisfaire leurs cr\u00e9dits de recherche obligatoire. En revanche, \u00e0 l’approche de la fin de session, les cohortes seraient domin\u00e9es par des retardataires procrastinateurs, stress\u00e9s par l’imminence des examens finaux, en situation d’\u00e9puisement cognitif et ex\u00e9cutant les questionnaires de mani\u00e8re b\u00e2cl\u00e9e afin de valider \u00e0 la h\u00e2te leurs obligations p\u00e9dagogiques. Cette dynamique d\u00e9l\u00e9t\u00e8re \u00e9tait fr\u00e9quemment d\u00e9sign\u00e9e sous l’expression de \u00ab subject pool fatigue \u00bb.<\/p>\n Pour trancher d\u00e9finitivement cette controverse logistique, l’\u00e9quipe de Many Labs 3, coordonn\u00e9e par Charles R. Ebersole et ses collaborateurs (2016)<\/a>, a mis sur pied un protocole exp\u00e9rimental longitudinal mobilisant vingt universit\u00e9s nord-am\u00e9ricaines. L’objectif \u00e9tait d’administrer une batterie de dix effets psychologiques de fa\u00e7on continue et standardis\u00e9e tout au long d’un semestre acad\u00e9mique complet, afin de cartographier avec pr\u00e9cision la courbe d’\u00e9volution des tailles d’effet au fil des semaines d’enseignement.<\/p>\n Le consortium Many Labs 3<\/em> a recueilli les r\u00e9ponses standardis\u00e9es de 2 696 participants, dont la date exacte de passation \u00e9tait m\u00e9ticuleusement horodat\u00e9e semaine apr\u00e8s semaine au sein de chaque campus partenaire. Les t\u00e2ches s\u00e9lectionn\u00e9es englobaient un spectre repr\u00e9sentatif de paradigmes cognitifs et psychosociaux, incluant des mesures d’attention soutenue, l’effet de sup\u00e9riorit\u00e9 de l’auto-r\u00e9f\u00e9rence sur la m\u00e9moire (self-reference effect<\/em>), des heuristiques de jugement moral et des t\u00e2ches de persistance intellectuelle.<\/p>\n Les mod\u00e9lisations statistiques ont abouti \u00e0 un r\u00e9sultat univoque : le calendrier universitaire n’exerce absolument aucune influence mesurable sur la magnitude des tailles d’effet. Qu’une t\u00e2che exp\u00e9rimentale ait \u00e9t\u00e9 pass\u00e9e lors de la premi\u00e8re semaine de septembre ou au milieu des r\u00e9visions fr\u00e9n\u00e9tiques de d\u00e9cembre, la taille d’effet observ\u00e9e demeurait rigoureusement stable. Le param\u00e8tre d’interaction entre la semaine de collecte et l’effet exp\u00e9rimental cible s’est r\u00e9v\u00e9l\u00e9 non significatif sur l’int\u00e9gralit\u00e9 des paradigmes examin\u00e9s.<\/p>\n Les indicateurs de rigueur cognitive ont affich\u00e9 une constance remarquable. Les temps de r\u00e9action, le respect des consignes complexes, les scores aux questions d’attention et le taux d’engagement global n’ont montr\u00e9 aucune \u00e9rosion statistique \u00e0 mesure que le semestre avan\u00e7ait. M\u00eame les effets hautement d\u00e9pendants des ressources attentionnelles, comme l’effet d’auto-r\u00e9f\u00e9rence mn\u00e9sique, ont conserv\u00e9 une puissance identique d’un bout \u00e0 l’autre du calendrier. L’hypoth\u00e8se de la d\u00e9t\u00e9rioration cognitive syst\u00e9matique des banques de sujets en fin de session universitaire a \u00e9t\u00e9 formellement r\u00e9fut\u00e9e par les donn\u00e9es.<\/p>\n Les retomb\u00e9es pratiques de Many Labs 3<\/em> pour l’organisation quotidienne des laboratoires ont \u00e9t\u00e9 imm\u00e9diates et lib\u00e9ratrices. Sur le plan logistique, cette \u00e9tude a r\u00e9habilit\u00e9 la validit\u00e9 scientifique des donn\u00e9es r\u00e9colt\u00e9es en fin de cycle universitaire, levant une hypoth\u00e8que anxiog\u00e8ne qui pesait sur des milliers de doctorants et d’enseignants-chercheurs contraints de boucler leurs protocoles dans des d\u00e9lais temporels \u00e9troits.<\/p>\n Les \u00e9quipes ont ainsi pu optimiser l’utilisation de leurs banques de participants sans craindre que les jeux de donn\u00e9es tardifs ne polluent leurs \u00e9chantillons avec du bruit m\u00e9thodologique ou des faux n\u00e9gatifs artificiels. Plus fondamentalement, cette d\u00e9monstration a illustr\u00e9 une fois de plus la propension de la communaut\u00e9 scientifique \u00e0 forger et perp\u00e9tuer des dogmes m\u00e9thodologiques bas\u00e9s sur de simples intuitions anecdotiques, en l’absence de toute v\u00e9rification empirique rigoureuse.<\/p>\n En d\u00e9montrant que les processus psychologiques de base des \u00e9tudiants ne se dissolvent pas sous l’effet du calendrier, Many Labs 3<\/em> a recentr\u00e9 le d\u00e9bat m\u00e9tascientifique sur les v\u00e9ritables priorit\u00e9s m\u00e9thodologiques. Le risque de non-reproductibilit\u00e9 ne provient pas de la semaine calendaire au cours de laquelle un sujet clique sur une souris d’ordinateur : il r\u00e9sulte de la puissance statistique des tests, de la fid\u00e9lit\u00e9 de l’op\u00e9rationnalisation conceptuelle et du refus absolu de manipuler les donn\u00e9es en post-hoc.<\/p>\n L’un des d\u00e9fis les plus cruciaux et d\u00e9licats soulev\u00e9s par le mouvement de r\u00e9plication concerne le r\u00f4le de \u00ab l’expertise tacite \u00bb des auteurs originaux. Lorsqu’une r\u00e9plication ind\u00e9pendante \u00e9choue, les concepteurs de la th\u00e9orie initiale objectent fr\u00e9quemment que les r\u00e9plicateurs n’ont pas su capter les nuances subtiles du paradigme : un choix d’instructions l\u00e9g\u00e8rement maladroit, un ton inadapt\u00e9 de l’exp\u00e9rimentateur, ou un d\u00e9lai temporel mal calibr\u00e9 entre la manipulation et la mesure suffiraient \u00e0 d\u00e9truire le ph\u00e9nom\u00e8ne. Pour r\u00e9pondre formellement \u00e0 cette critique, le projet Many Labs 4<\/a> a \u00e9t\u00e9 con\u00e7u selon un mod\u00e8le exp\u00e9rimental in\u00e9dit : int\u00e9grer les auteurs originaux au c\u0153ur m\u00eame de la conception de la r\u00e9plication.<\/p>\n Le paradigme choisi pour ce banc d’essai m\u00e9thodologique \u00e9tait l’un des monuments th\u00e9oriques de la psychologie sociale contemporaine : la th\u00e9orie de la gestion de la terreur (Terror Management Theory<\/em> ou TMT), formul\u00e9e par Jeff Greenberg, Sheldon Solomon et Tom Pyszczynski. Selon cette th\u00e9orie, la conscience in\u00e9luctable de notre propre mortalit\u00e9 g\u00e9n\u00e8re une terreur existentielle potentiellement paralysante, que les \u00eatres humains compensent en renfor\u00e7ant leur adh\u00e9sion \u00e0 leur vision culturelle du monde (worldview defense<\/em>) et en valorisant ceux qui partagent leurs croyances au d\u00e9triment de ceux qui les transgressent.<\/p>\n L’\u00e9tude cibl\u00e9e \u00e9tait la manipulation classique de saillance de la mortalit\u00e9 (Mortality Salience<\/em>) mise au point par Greenberg et al. (1990)<\/a>. Dans ce paradigme, les participants invit\u00e9s \u00e0 d\u00e9crire par \u00e9crit les \u00e9motions que suscite chez eux l’id\u00e9e de leur propre mort physique manifestent ult\u00e9rieurement une punition plus s\u00e9v\u00e8re ou un jugement beaucoup plus n\u00e9gatif \u00e0 l’\u00e9gard d’individus violant les normes soci\u00e9tales (en l’occurrence, l’\u00e9valuation d’un auteur ayant r\u00e9dig\u00e9 un essai violemment critique envers les \u00c9tats-Unis). Le projet a mobilis\u00e9 21 laboratoires ind\u00e9pendants et plus de 2 200 participants afin de tester ce m\u00e9canisme de mani\u00e8re d\u00e9finitive.<\/p>\n L’architecture exp\u00e9rimentale de Many Labs 4<\/em> comportait un double dispositif comparatif : chaque laboratoire partenaire devait administrer deux versions distinctes du protocole. D’un c\u00f4t\u00e9, un protocole r\u00e9dig\u00e9 de fa\u00e7on autonome par l’\u00e9quipe des r\u00e9plicateurs sur la base exclusive des publications \u00e9crites de 1990 ; de l’autre c\u00f4t\u00e9, un protocole minutieusement \u00e9labor\u00e9, valid\u00e9 et officiellement approuv\u00e9 par les auteurs originaux de la TMT eux-m\u00eames, qui ont pr\u00e9cis\u00e9 le mat\u00e9riel, les questions d’amor\u00e7age, et impos\u00e9 l’insertion d’une t\u00e2che de d\u00e9lai distrayante cens\u00e9e permettre \u00e0 l’angoisse de la mort de s’infiltrer hors de la conscience imm\u00e9diate (un postulat th\u00e9orique central de la TMT).<\/p>\n Les conclusions globales de l’\u00e9tude ont produit une onde de choc au sein de la discipline. Que ce soit avec le protocole standardis\u00e9 ind\u00e9pendant ou avec le protocole con\u00e7u sur mesure par les auteurs fondateurs de la th\u00e9orie, l’effet de saillance de la mortalit\u00e9 n’a pu \u00eatre r\u00e9pliqu\u00e9. La taille d’effet globale moyenne a converg\u00e9 vers une valeur proche du z\u00e9ro absolu ($d = 0.03$<\/span>), sans qu’aucun avantage statistiquement mesurable ne puisse \u00eatre attribu\u00e9 au protocole valid\u00e9 par les cr\u00e9ateurs historiques du concept.<\/p>\n La publication des donn\u00e9es a imm\u00e9diatement d\u00e9clench\u00e9 une controverse acrimonieuse et hautement m\u00e9diatis\u00e9e. Les auteurs originaux ont r\u00e9agi en contestant avec virulence la l\u00e9gitimit\u00e9 de l’ex\u00e9cution empirique, affirmant r\u00e9trospectivement que certains laboratoires n’avaient pas respect\u00e9 le timing exact d’administration ou que le climat politique national de l’\u00e8re post-2016 parasitait la r\u00e9ceptivit\u00e9 des sujets \u00e0 l’\u00e9gard de l’essai critique anti-am\u00e9ricain. Les r\u00e9plicateurs ont r\u00e9torqu\u00e9 que toutes les d\u00e9viations mineures avaient \u00e9t\u00e9 audit\u00e9es et int\u00e9gr\u00e9es dans des m\u00e9ta-r\u00e9gressions sans que l’effet n’\u00e9merge jamais. Cet affrontement a expos\u00e9 au grand jour la difficult\u00e9 quasi-insurmontable d’obtenir un consensus au sein de la communaut\u00e9 lorsque des croyances th\u00e9oriques ancr\u00e9es depuis trois d\u00e9cennies sont remises en cause par des donn\u00e9es massives.<\/p>\n L’exp\u00e9rience tumultueuse de Many Labs 4<\/em> a apport\u00e9 des enseignements m\u00e9thodologiques inestimables pour l’avenir des relations entre r\u00e9plicateurs et auteurs historiques. Premi\u00e8rement, elle a d\u00e9montr\u00e9 que le recours \u00e0 \u00ab l’expertise tacite \u00bb est souvent une voie sans issue scientifique : si un ph\u00e9nom\u00e8ne exp\u00e9rimental est si fragile qu’il ne peut se manifester qu’entre les mains de son inventeur et s’\u00e9vanouit d\u00e8s qu’il est administr\u00e9 selon des consignes informatis\u00e9es universelles, alors il cesse d’\u00eatre un ph\u00e9nom\u00e8ne scientifique g\u00e9n\u00e9ralisable pour devenir une performance non reproductible.<\/p>\n Deuxi\u00e8mement, le projet a mis en exergue la n\u00e9cessit\u00e9 absolue d’instaurer des accords m\u00e9thodologiques contractuels pr\u00e9alables et contraignants. Avant le recueil de la moindre observation, les auteurs originaux et les r\u00e9plicateurs doivent signer un consensus formel stipulant que le protocole propos\u00e9 constitue un test loyal, ad\u00e9quat et diagnostique de la th\u00e9orie en question. Cette pr\u00e9caution permet d’\u00e9viter que des critiques m\u00e9thodologiques opportunistes ne soient invent\u00e9es ad hoc a posteriori, une fois les r\u00e9sultats n\u00e9gatifs connus.<\/p>\n Enfin, Many Labs 4<\/em> a pos\u00e9 les fondations \u00e9thiques de la r\u00e9plication contradictoire. Il a prouv\u00e9 que la Big Team Science, loin d’\u00eatre un outil malveillant destin\u00e9 \u00e0 discr\u00e9diter des carri\u00e8res universitaires, constitue l’unique moyen d\u00e9mocratique d’arbitrer les querelles d’\u00e9coles th\u00e9oriques sur le terrain neutre de la rigueur statistique collective.<\/p>\n L’un des accomplissements majeurs de la r\u00e9forme de la science ouverte a \u00e9t\u00e9 l’introduction du mod\u00e8le \u00e9ditorial des Registered Reports<\/em> (rapports pr\u00e9-enregistr\u00e9s). Dans ce sch\u00e9ma novateur, les manuscrits sont soumis \u00e0 l’\u00e9valuation par les pairs (peer review<\/em>) avant m\u00eame la collecte des donn\u00e9es : les relecteurs et le r\u00e9dacteur en chef jugent exclusivement de la pertinence th\u00e9orique de la question de recherche, de la rigueur du calcul de puissance et de la qualit\u00e9 formelle du dispositif exp\u00e9rimental. Si le projet est jug\u00e9 satisfaisant, la revue octroie une \u00ab acceptation de principe \u00bb (In-Principle Acceptance<\/em> ou IPA), garantissant la publication finale des r\u00e9sultats, que ceux-ci confirment ou infirment les hypoth\u00e8ses initiales.<\/p>\n Le consortium Many Labs 5, pilot\u00e9 par Charles R. Ebersole et une \u00e9quipe internationale (2020)<\/a>, s’est donn\u00e9 pour objectif m\u00e9tascientifique d’\u00e9valuer l’impact direct de ce processus d’\u00e9valuation pr\u00e9alable sur le sort des r\u00e9plications. Les chercheurs se sont pench\u00e9s sur un ensemble d’\u00e9tudes controvers\u00e9es issues du Reproducibility Project: Psychology<\/em> de 2015 ayant \u00e9chou\u00e9 \u00e0 se r\u00e9pliquer, mais pour lesquelles les auteurs originaux avaient soutenu que les protocoles de r\u00e9plication pr\u00e9sentaient des d\u00e9fauts m\u00e9thodologiques majeurs ayant fauss\u00e9 le r\u00e9sultat.<\/p>\n La question pos\u00e9e par Many Labs 5<\/em> \u00e9tait vertigineuse : si l’on prend ces m\u00eames \u00e9tudes contest\u00e9es, que l’on soumet leurs protocoles de r\u00e9plication \u00e0 un examen par les pairs approfondi associant formellement les auteurs originaux pour corriger chaque imperfection technique possible, et que l’on fait valider cette architecture bonifi\u00e9e sous le format d’un Registered Report officiel, verra-t-on les effets disparus ressurgir ?<\/p>\n Pour mener \u00e0 bien cette confrontation m\u00e9thodologique, Many Labs 5<\/em> a mobilis\u00e9 des dizaines de sites d’exp\u00e9rimentation ind\u00e9pendants afin de tester en parall\u00e8le deux versions protocolaires pour chaque paradigme s\u00e9lectionn\u00e9 : la version issue de la r\u00e9plication originale du RP:P de 2015 (la version \u00ab standard \u00bb contest\u00e9e) et la version bonifi\u00e9e ayant obtenu l’approbation formelle des pairs et des auteurs initiaux (la version \u00ab r\u00e9vis\u00e9e \u00bb optimis\u00e9e).<\/p>\n Les r\u00e9sultats ont inflig\u00e9 un d\u00e9menti spectaculaire \u00e0 la th\u00e8se selon laquelle les \u00e9checs de r\u00e9plication initiaux d\u00e9coulaient de simples lacunes d’ex\u00e9cution technique ou d’un manque de bienveillance m\u00e9thodologique. Sur la quasi-totalit\u00e9 des paradigmes r\u00e9\u00e9valu\u00e9s, la version r\u00e9vis\u00e9e et pr\u00e9-approuv\u00e9e par les auteurs n’a pas affich\u00e9 de taille d’effet sup\u00e9rieure \u00e0 celle observ\u00e9e avec le protocole original contest\u00e9. Les effets nuls sont rest\u00e9s nuls.<\/p>\n L’int\u00e9gration minutieuse des desiderata des concepteurs \u2014 ajustement des formulations textuelles, allongement des phases d’amor\u00e7age, modification des intervalles de latence \u2014 n’a pas permis de faire r\u00e9appara\u00eetre les ph\u00e9nom\u00e8nes publi\u00e9s jadis dans la litt\u00e9rature. Cette confrontation exp\u00e9rimentale a ainsi administr\u00e9 la preuve math\u00e9matique que les \u00e9checs du Reproducibility Project: Psychology<\/em> n’\u00e9taient pas le sous-produit de r\u00e9plicateurs incomp\u00e9tents ex\u00e9cutant des protocoles imparfaits : ils d\u00e9coulaient bien de l’inexistence empirique des effets initiaux, g\u00e9n\u00e9r\u00e9s \u00e0 l’origine par le p-hacking<\/em> et le tamis \u00e9ditorial des biais de publication.<\/p>\n L’apport institutionnel de Many Labs 5<\/em> r\u00e9side dans la validation \u00e9clatante du format des Registered Reports<\/em> en tant qu’instrument de purification de la m\u00e9thode scientifique. En d\u00e9montrant qu’un protocole soumis \u00e0 l’\u00e9valuation avant la r\u00e9colte des donn\u00e9es offre des garanties d’impartialit\u00e9 ind\u00e9passables, cette initiative a pr\u00e9cipit\u00e9 la mutation des politiques \u00e9ditoriales internationales.<\/p>\n Le fait de dissocier la d\u00e9cision de publication du r\u00e9sultat statistique final \u00e9limine instantan\u00e9ment toute tentation de p-hacking<\/em> chez le chercheur et an\u00e9antit le biais de publication chez l’\u00e9diteur. L’\u00e9valuation par les pairs cesse d’\u00eatre une simple formalit\u00e9 bureaucratique intervenant a posteriori pour juger d’un produit fini potentiellement enjoliv\u00e9 ; elle redevient un espace constructif de cod\u00e9cision m\u00e9thodologique o\u00f9 la validit\u00e9 de l’exp\u00e9rience est garantie en amont.<\/p>\n Dans la foul\u00e9e de ces r\u00e9sultats, des centaines de revues acad\u00e9miques de premier rang ont officiellement ouvert des sections de soumission sous le format des Registered Reports. Many Labs 5<\/em> a prouv\u00e9 qu’en verrouillant m\u00e9thodologiquement le processus exp\u00e9rimental avant que les d\u00e9s ne soient jet\u00e9s, la science se donne enfin les moyens d’\u00e9liminer les faux positifs et de b\u00e2tir un corpus de connaissances cumulativement p\u00e9renne.<\/p>\n Le traitement analytique de jeux de donn\u00e9es massifs impliquant des dizaines de sites d’exp\u00e9rimentation r\u00e9partis aux quatre coins du globe ne saurait reposer sur de simples analyses de variance conventionnelles. Les projets Many Labs<\/em> ont impos\u00e9 l’utilisation g\u00e9n\u00e9ralis\u00e9e de mod\u00e8les statistiques avanc\u00e9s, au premier rang desquels figurent les mod\u00e8les m\u00e9ta-analytiques \u00e0 effets al\u00e9atoires (random-effects meta-analyses<\/em>) et les r\u00e9gressions lin\u00e9aires mixtes multiniveaux (hierarchical linear modeling<\/em>).<\/p>\n Contrairement aux mod\u00e8les \u00e0 effets fixes, qui postulent implicitement qu’il existerait une taille d’effet v\u00e9ritable unique et universelle que chaque laboratoire estimerait \u00e0 une erreur d’\u00e9chantillonnage pr\u00e8s, les mod\u00e8les \u00e0 effets al\u00e9atoires assument formellement que la taille d’effet r\u00e9elle peut elle-m\u00eame varier entre les populations et les environnements. L’objectif math\u00e9matique central de ces mod\u00e8les est d’estimer deux composantes fondamentales de la variance : la variance intra-site (attribuable \u00e0 la taille de l’\u00e9chantillon local et mesur\u00e9e par l’erreur standard classique) et l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 syst\u00e9matique inter-sites, quantifi\u00e9e par le param\u00e8tre $\\tau^2$<\/span> (tau au carr\u00e9).<\/p>\n Un apport technique d\u00e9cisif de cette approche a \u00e9t\u00e9 la g\u00e9n\u00e9ralisation des intervalles de pr\u00e9diction (prediction intervals<\/em>) \u00e0 95 %, concept r\u00e9guli\u00e8rement distingu\u00e9 des traditionnels intervalles de confiance. Tandis qu’un intervalle de confiance d\u00e9limite la marge d’erreur entourant l’estimation de la taille d’effet moyenne, l’intervalle de pr\u00e9diction indique dans quelle fourchette se situera la v\u00e9ritable taille d’effet si l’on conduit une nouvelle r\u00e9plication dans un laboratoire futur pris au hasard. Si cet intervalle de pr\u00e9diction englobe la valeur z\u00e9ro, le ph\u00e9nom\u00e8ne ne peut \u00eatre consid\u00e9r\u00e9 comme universellement r\u00e9plicable, m\u00eame si la taille d’effet moyenne agr\u00e9g\u00e9e s’av\u00e8re statistiquement significative au sens d’une p-valeur globale.<\/p>\n L’analyse agr\u00e9g\u00e9e des donn\u00e9es Many Labs<\/em> a permis d’ausculter de mani\u00e8re diagnostique les d\u00e9formations statistiques induites par des d\u00e9cennies de mauvaises pratiques m\u00e9thodologiques. L’un des marqueurs les plus \u00e9vidents r\u00e9v\u00e9l\u00e9s par ces travaux est l’omnipr\u00e9sence du \u00ab paradoxe du gagnant \u00bb (winner’s curse<\/em>) au sein de la litt\u00e9rature traditionnelle. Dans des \u00e9tudes historiques \u00e0 faible puissance statistique ($N = 20$<\/span> \u00e0 $30$ sujets par condition), un effet ne peut franchir le seuil d’erreur alpha de 5 % que si sa taille d’effet \u00e9chantillonnale est massivement surestim\u00e9e par le hasard. Les chercheurs publiaient donc des amplitudes d’effet gargantuesques qui ne repr\u00e9sentaient que le sommet de la distribution stochastique.<\/p>\n Pour d\u00e9masquer ces anomalies de distribution, les statisticiens du consortium ont appliqu\u00e9 les outils de la courbe des valeurs de $p$<\/span> (p-curve analysis<\/em>, conceptualis\u00e9e par Simonsohn, Nelson et Simmons). En tra\u00e7ant la distribution des p-valeurs significatives issues de la litt\u00e9rature originelle compar\u00e9e \u00e0 celle des r\u00e9plications Many Labs<\/em>, ils ont pu d\u00e9montrer de mani\u00e8re irr\u00e9futable la pr\u00e9sence d’une valeur probante \u00e9vidente pour les effets cognitifs (courbe fortement asym\u00e9trique vers la droite, concentr\u00e9e autour de $p < .01$) et une absence totale de valeur probante pour de nombreux effets d’amor\u00e7age social (courbe plate ou asym\u00e9trique vers la gauche, trahissant l’accumulation de r\u00e9sultats artificiellement pouss\u00e9s sous la barre de$<\/span>.05$ par du p-hacking<\/em>).<\/p>\n En garantissant une puissance statistique cumul\u00e9e sup\u00e9rieure \u00e0 99 % pour chaque paradigme examin\u00e9, les protocoles Many Labs<\/em> ont mis fin \u00e0 la ritournelle des r\u00e9sultats faussement contradictoires. Dans le pass\u00e9, un laboratoire trouvant $p < .05$ et un autre trouvant $p = .08$<\/span> s’opposaient dans des joutes th\u00e9oriques interminables pour expliquer cette \u00ab divergence \u00bb, ignorant qu’il ne s’agissait que du bruit d’\u00e9chantillonnage inh\u00e9rent \u00e0 des \u00e9chantillons chroniquement sous-dimensionn\u00e9s.<\/p>\n L’une des d\u00e9couvertes statistiques les plus d\u00e9concertantes issues de l’ensemble des initiatives Many Labs<\/em> r\u00e9side dans la faiblesse insoup\u00e7onn\u00e9e de l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 r\u00e9elle inter-laboratoires. Alors que les psychologues s’attendaient \u00e0 ce que la diversit\u00e9 des contextes g\u00e9ographiques, des fuseaux horaires, des origines ethniques et des cadres universitaires g\u00e9n\u00e8re une variabilit\u00e9 foisonnante des effets, l’estimation empirique de $\\tau^2$<\/span> s’est de mani\u00e8re r\u00e9currente approch\u00e9e du z\u00e9ro absolu.<\/p>\n L’indice $I^2$<\/span>, mesurant la proportion de variance totale attribuable \u00e0 une h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 r\u00e9elle entre les sites plut\u00f4t qu’\u00e0 l’erreur d’\u00e9chantillonnage al\u00e9atoire, s’est maintenu \u00e0 des niveaux d\u00e9risoires pour une vaste majorit\u00e9 de paradigmes. Concr\u00e8tement, cela signifie que la quasi-totalit\u00e9 des fluctuations observ\u00e9es d’un laboratoire \u00e0 l’autre dans l’amplitude d’un effet s’explique simplement par la variance d’\u00e9chantillonnage normale, et non par de myst\u00e9rieux facteurs mod\u00e9rateurs contextuels.<\/p>\n Ce constat math\u00e9matique a des r\u00e9percussions fondamentales pour l’\u00e9pist\u00e9mologie de la discipline. Il pulv\u00e9rise l’id\u00e9e d’une plasticit\u00e9 contextuelle infinie des fonctions psychologiques, trop souvent brandie pour excuser les \u00e9checs de r\u00e9plication. Un v\u00e9ritable ph\u00e9nom\u00e8ne psychologique pr\u00e9sente une signature statistique identifiable : lorsqu’il existe, sa g\u00e9n\u00e9ralisabilit\u00e9 transcende les particularismes locaux avec une constance impressionnante. \u00c0 l’inverse, l’absence d’effet s’av\u00e8re tout aussi homog\u00e8ne : rien ne sert de chercher des mod\u00e9rateurs subtils pour expliquer la disparition d’un effet qui n’\u00e9tait, d\u00e8s l’origine, qu’une chim\u00e8re statistique.<\/p>\n L’onde de choc produite par les donn\u00e9es consolid\u00e9es des projets Many Labs<\/em> a forc\u00e9 la psychologie scientifique \u00e0 proc\u00e9der \u00e0 un tri s\u00e9lectif sans concession au sein de son panth\u00e9on th\u00e9orique. Durant des d\u00e9cennies, la discipline a accumul\u00e9 des mod\u00e8les ambitieux \u00e9rig\u00e9s sur des fondations empiriques friables, b\u00e9n\u00e9ficiant d’une forme d’immunit\u00e9 \u00e9pist\u00e9mique garantie par l’absence d’incitation institutionnelle \u00e0 la r\u00e9plication ind\u00e9pendante.<\/p>\n Le secteur ayant pay\u00e9 le tribut le plus lourd \u00e0 cet inventaire m\u00e9thodique est sans conteste celui de l’amor\u00e7age comportemental inconscient. Des pans entiers de la litt\u00e9rature affirmant que des stimuli environnementaux fugaces \u2014 tels que la vue d’une photo d’Einstein pour stimuler l’intelligence, la manipulation d’argent pour induire l’individualisme ou la contemplation de symboles religieux pour r\u00e9primer l’agressivit\u00e9 \u2014 pouvaient dicter \u00e0 leur insu les conduites humaines complexes se sont effondr\u00e9s. Ces mod\u00e8les th\u00e9oriques, bien que s\u00e9duisants pour les m\u00e9dias grand public et les conf\u00e9rences TED, doivent \u00eatre abandonn\u00e9s ou profond\u00e9ment recalibr\u00e9s, faute de r\u00e9alit\u00e9 exp\u00e9rimentale.<\/p>\n \u00c0 l’inverse, le mouvement Many Labs<\/em> n’a nullement conduit \u00e0 une disqualification nihiliste de l’ensemble de la psychologie. Au contraire, il a consacr\u00e9 la solidit\u00e9 empirique des fondements de la psychologie cognitive, de la perception, du jugement probabiliste et de l’\u00e9conomie comportementale. Les lois r\u00e9gissant l’attention s\u00e9lective, le traitement m\u00e9moriel ou la structure des heuristiques de d\u00e9cision ont \u00e9merg\u00e9 de cette \u00e9preuve plus robustes et incontestables que jamais. Ce tri salutaire a permis d’assainir la discipline en \u00e9liminant les branches mortes de l’\u00e9difice th\u00e9orique pour mieux consolider ses piliers fondamentaux.<\/p>\n L’h\u00e9ritage \u00e9pist\u00e9mologique des projets Many Labs<\/em> se traduit par un bouleversement complet de la d\u00e9finition de ce qui constitue une d\u00e9couverte scientifique recevable. Le crit\u00e8re exclusif qui a r\u00e9gn\u00e9 sans partage pendant plus d’un demi-si\u00e8cle \u2014 le sacro-saint seuil de signification de Neyman-Pearson $p < .05$ obtenu au sein d'une exp\u00e9rience unique \u2014 est d\u00e9sormais consid\u00e9r\u00e9 comme notoirement insuffisant par la communaut\u00e9 internationale.<\/p>\n La m\u00e9tascience moderne exige d\u00e9sormais un faisceau de preuves autrement plus rigoureux pour attester de la robustesse d’un ph\u00e9nom\u00e8ne exp\u00e9rimental. Cette nouvelle grille d’\u00e9valuation s’articule autour de trois imp\u00e9ratifs cardinaux :<\/p>\n Au-del\u00e0 de la seule m\u00e9thodologie, la crise de la reproductibilit\u00e9 document\u00e9e par les projets Many Labs<\/em> a r\u00e9v\u00e9l\u00e9 une faiblesse structurelle plus profonde : la pauvret\u00e9 formelle des th\u00e9ories psychologiques. Comme l’a magistralement soulign\u00e9 la m\u00e9thodologue Anne Scheel et ses collaborateurs, la psychologie souffre d’un d\u00e9ficit chronique de formalisation math\u00e9matique. La majorit\u00e9 des cadres conceptuels sont formul\u00e9s sous forme de \u00ab th\u00e9ories verbales \u00bb vagues et mall\u00e9ables, r\u00e9dig\u00e9es dans le langage ordinaire.<\/p>\n Cette plasticit\u00e9 linguistique pr\u00e9sente un danger \u00e9pist\u00e9mologique majeur : elle permet \u00e0 une th\u00e9orie d’esquiver perp\u00e9tuellement la falsification au sens popp\u00e9rien. Lorsqu’un effet \u00e9choue \u00e0 se r\u00e9pliquer, le th\u00e9oricien peut toujours invoquer l’impr\u00e9cision de ses formulations verbales pour soutenir que le protocole de r\u00e9plication n’a pas activ\u00e9 le bon construit sous-jacent, transformant la discipline en un \u00e9difice dogmatique imperm\u00e9able \u00e0 la r\u00e9futation empirique.<\/p>\n La r\u00e9ponse \u00e0 cette d\u00e9rive r\u00e9side dans la transition vers des mod\u00e8les computationnels et math\u00e9matiques explicites du comportement. Les projets de r\u00e9plication massive ont acc\u00e9l\u00e9r\u00e9 ce mouvement vers la rigueur formelle. Les chercheurs sont d\u00e9sormais somm\u00e9s de d\u00e9limiter avec une pr\u00e9cision chirurgicale les \u00ab conditions limites \u00bb de leurs th\u00e9ories : pr\u00e9ciser par des \u00e9quations ou des algorithmes sous quelles conditions exactes un ph\u00e9nom\u00e8ne doit se produire, quelle taille d’effet minimale est th\u00e9oriquement attendue, et quelles observations contradictoires suffiraient \u00e0 invalider d\u00e9finitivement le mod\u00e8le. Cette modestie \u00e9pist\u00e9mique renouvel\u00e9e est la condition sine qua non pour que la psychologie s’\u00e9l\u00e8ve au rang de science cumulative durable.<\/p>\n L’h\u00e9ritage institutionnel le plus p\u00e9renne du paradigme Many Labs<\/em> est incontestablement l’institutionnalisation de la \u00ab Big Team Science \u00bb. En d\u00e9montrant qu’il \u00e9tait mat\u00e9riellement possible de coordonner plus de cent laboratoires \u00e0 l’\u00e9chelle plan\u00e9taire pour r\u00e9pondre \u00e0 des questions empiriques pr\u00e9cises, ces initiatives ont fait voler en \u00e9clats le mod\u00e8le s\u00e9culaire du chercheur isol\u00e9 travaillant en vase clos dans son laboratoire universitaire (le syndrome du \u00ab savant solitaire \u00bb).<\/p>\n Dans le sillage direct de Many Labs<\/em>, de v\u00e9ritables organisations permanentes de recherche distribu\u00e9e ont vu le jour. L’exemple le plus embl\u00e9matique est le Psychological Science Accelerator (PSA)<\/a>, fond\u00e9 par Christopher Chartier en 2017. Ce consortium permanent regroupe plus de mille chercheurs et laboratoires r\u00e9partis dans plus de quatre-vingts pays. Fonctionnant \u00e0 la mani\u00e8re d’un observatoire astronomique international ou d’un acc\u00e9l\u00e9rateur de particules comme le CERN, le PSA s\u00e9lectionne p\u00e9riodiquement des propositions d’\u00e9tudes par appel d’offres rigoureux, puis mobilise son r\u00e9seau plan\u00e9taire pour collecter des donn\u00e9es standardis\u00e9es sur des dizaines de milliers de participants avec une puissance statistique ph\u00e9nom\u00e9nale.<\/p>\n Cette mutation a \u00e9galement impos\u00e9 une refonte compl\u00e8te des modes d’attribution du cr\u00e9dit scientifique. Les structures de publication traditionnelles, con\u00e7ues pour quelques auteurs seulement, \u00e9taient incapables de g\u00e9rer des collectes impliquant des centaines de scientifiques. L’adoption progressive de la taxonomie CRediT (Contributor Roles Taxonomy<\/em>) permet d\u00e9sormais de documenter avec pr\u00e9cision le r\u00f4le de chaque individu : conceptualisation, programmation logicielle, collecte de donn\u00e9es locales, traduction, administration du projet ou curation des donn\u00e9es brutes, d\u00e9mocratisant ainsi l’acc\u00e8s \u00e0 la reconnaissance acad\u00e9mique pour les chercheurs de pays \u00e9mergents ou d’institutions moins richement dot\u00e9es.<\/p>\n La r\u00e9volution m\u00e9thodologique incarn\u00e9e par les consortiums Many Labs<\/em> n’aurait jamais pu advenir sans l’infrastructure technologique et le soutien op\u00e9rationnel du Center for Open Science<\/em> (COS), cofond\u00e9 par Brian Nosek et Jeffrey Spies. En d\u00e9veloppant la plateforme universelle Open Science Framework (OSF)<\/a>, le COS a fourni \u00e0 la communaut\u00e9 internationale l’environnement technique indispensable pour orchestrer des collaborations massives \u00e0 distance.<\/p>\n L’OSF offre une interface logicielle gratuite, modulaire et hautement s\u00e9curis\u00e9e permettant d’archiver p\u00e9renneusement chaque \u00e9tape du cycle de recherche. Elle permet d’h\u00e9berger les arbres d\u00e9cisionnels des pr\u00e9-enregistrements sous forme immuable et horodat\u00e9e, d’assurer le contr\u00f4le des versions des scripts de programmation et de mettre \u00e0 la disposition publique mondiale des gigaoctets de donn\u00e9es exp\u00e9rimentales brutes et de syntaxes de traitement. Cette architecture \u00e9limine le spectre des \u00ab donn\u00e9es perdues sur un disque dur obsol\u00e8te \u00bb, trag\u00e9die documentaire qui a longtemps frapp\u00e9 les \u00e9tudes universitaires quelques ann\u00e9es seulement apr\u00e8s leur parution.<\/p>\n De surcro\u00eet, le Center for Open Science a agi comme un incubateur politique et institutionnel majeur, forgeant les lignes directrices TOP (Transparency and Openness Promotion Guidelines<\/em>). Ces directives fournissent aux revues scientifiques et aux universit\u00e9s des crit\u00e8res standardis\u00e9s pour imposer progressivement la transparence des donn\u00e9es, des mat\u00e9riels et des analyses comme condition pr\u00e9alable non n\u00e9gociable \u00e0 toute publication acad\u00e9mique.<\/p>\n L’impact structurel le plus profond des r\u00e9plications Many Labs<\/em> sur l’\u00e9cosyst\u00e8me \u00e9ditorial demeure la l\u00e9gitimation et l’expansion exponentielle du format des Registered Reports<\/em>. Sous l’impulsion de pionniers comme Chris Chambers, ce format est pass\u00e9 du statut d’exp\u00e9rimentation \u00e9ditoriale marginale \u00e0 celui de standard d’excellence m\u00e9thodologique adopt\u00e9 par plus de trois cents revues scientifiques internationales de premier plan (incluant des titres majeurs \u00e9dit\u00e9s par l’American Psychological Association<\/em>, Elsevier<\/em>, Springer-Nature<\/em> et Wiley<\/em>).<\/p>\n Les \u00e9tudes empiriques conduites pour \u00e9valuer l’efficacit\u00e9 des Registered Reports confirment des transformations structurelles radicales :<\/p>\n Malgr\u00e9 leurs apports m\u00e9thodologiques incontestables, les consortiums Many Labs<\/em> ont fait l’objet de vives critiques \u00e9pist\u00e9mologiques, \u00e9manant principalement de chercheurs traditionalistes et de partisans des paradigmes invalid\u00e9s. La critique la plus r\u00e9currente concerne la \u00ab standardisation aveugle \u00bb inh\u00e9rente aux protocoles massifs. Selon cette perspective, en imposant un script informatique uniformis\u00e9 \u00e0 l’ensemble des sites de test, les r\u00e9plicateurs an\u00e9antiraient la flexibilit\u00e9 requise pour adapter subtilement les exp\u00e9rimentations aux contextes socioculturels particuliers de chaque \u00e9chantillon.<\/p>\n Des auteurs ont fait valoir que la traduction purement litt\u00e9rale d’un stimulus textuel ou d’un sc\u00e9nario moral ne garantit en rien son \u00e9quivalence psychologique fonctionnelle dans un pays \u00e9tranger. Un dilemme social per\u00e7u comme anodin par un \u00e9tudiant new-yorkais peut s’av\u00e9rer choquant ou incompr\u00e9hensible pour un habitant d’une zone rurale d’Afrique subsaharienne ou d’Asie orientale, introduisant un bruit m\u00e9thodologique susceptible de noyer un effet psychologique r\u00e9el sous un artefact d’incommunicabilit\u00e9 s\u00e9mantique.<\/p>\n Par ailleurs, les tenants de l’approche traditionnelle continuent de plaider pour la primaut\u00e9 de la \u00ab r\u00e9plication conceptuelle \u00bb sur la \u00ab r\u00e9plication directe \u00bb. Selon eux, la v\u00e9ritable science consisterait \u00e0 tester la m\u00eame id\u00e9e abstraite avec des mat\u00e9riels et des paradigmes totalement diff\u00e9rents, plut\u00f4t que de s’acharner \u00e0 r\u00e9p\u00e9ter servilement \u00e0 l’identique un protocole historique dat\u00e9. Les tenants de la science ouverte r\u00e9pondent toutefois qu’autoriser la r\u00e9plication conceptuelle sans validation directe pr\u00e9alable ouvre la porte \u00e0 tous les d\u00e9rapages : lorsque la r\u00e9plication conceptuelle r\u00e9ussit, on crie \u00e0 la g\u00e9n\u00e9ralisation de la th\u00e9orie ; lorsqu’elle \u00e9choue, on affirme simplement qu’on a test\u00e9 un construit diff\u00e9rent, rendant la th\u00e9orie infalsifiable.<\/p>\n Un deuxi\u00e8me angle critique concerne la validit\u00e9 \u00e9cologique des conditions r\u00e9elles d’administration au sein des projets Many Labs<\/em>. Pour optimiser les co\u00fbts et le temps de collecte, la plupart de ces initiatives ont eu recours \u00e0 des \u00ab protocoles omnibus \u00bb (battery surveys<\/em>), au sein desquels les participants encha\u00eenaient \u00e0 la suite, en une seule session de 30 \u00e0 60 minutes, une douzaine de paradigmes exp\u00e9rimentaux totalement disparates n’ayant aucun lien logique entre eux.<\/p>\n Cette accumulation de stimuli a suscit\u00e9 des inqui\u00e9tudes l\u00e9gitimes quant \u00e0 l’impact de la fatigue cognitive et \u00e0 la baisse d’attention des volontaires. M\u00eame si Many Labs 1<\/em> et Many Labs 2<\/em> ont syst\u00e9matiquement contrebalanc\u00e9 l’ordre de pr\u00e9sentation des t\u00e2ches pour contr\u00f4ler cet effet d’ordre statistique, il n’en demeure pas moins que l’\u00e9tat psychologique d’un participant traitant son dixi\u00e8me paradigme cons\u00e9cutif est difficilement comparable \u00e0 celui d’un individu concentr\u00e9 sur une exp\u00e9rience unique en t\u00eate-\u00e0-t\u00eate avec un exp\u00e9rimentateur en laboratoire.<\/p>\n De plus, le recours massif aux plateformes de travail crowdsourc\u00e9es comme Amazon MTurk ou Prolific a soulev\u00e9 des interrogations sur la professionnalisation des r\u00e9pondants. Ces \u00ab sujets professionnels \u00bb, qui remplissent des dizaines de questionnaires par jour moyennant quelques centimes de compensation financi\u00e8re, d\u00e9veloppent des automatismes de r\u00e9ponse et une familiarit\u00e9 soup\u00e7onneuse avec les pi\u00e8ges m\u00e9thodologiques usuels (manipulation checks<\/em>), ce qui pourrait \u00e9touffer la spontan\u00e9it\u00e9 \u00e9motionnelle requise pour observer certains effets d\u00e9licats de psychologie sociale.<\/p>\n Enfin, un d\u00e9bat \u00e9conomique et \u00e9thique s’est fait jour quant aux \u00ab co\u00fbts d’opportunit\u00e9 \u00bb gigantesques engloutis par ces entreprises m\u00e9tascientifiques pharaoniques. F\u00e9d\u00e9rer cent vingt laboratoires universitaires, coordonner des centaines de chercheurs et mobiliser des dizaines de milliers d’heures de travail pour r\u00e9examiner des articles publi\u00e9s il y a vingt ou trente ans repr\u00e9sente un investissement colossal en ressources humaines et financi\u00e8res.<\/p>\n Certains critiques s’interrogent : cet effort titanesque d\u00e9di\u00e9 \u00e0 l’audit du pass\u00e9 ne s’effectue-t-il pas au d\u00e9triment de l’exploration de pistes th\u00e9oriques novatrices et de la d\u00e9couverte de nouveaux horizons scientifiques ? En orientant les financements et les talents vers la v\u00e9rification m\u00e9thodologique, ne risque-t-on pas de briser la cr\u00e9ativit\u00e9, l’audace conceptuelle et la prise de risque indispensables \u00e0 l’\u00e9mergence de perc\u00e9es scientifiques de rupture ?<\/p>\n Ce dilemme frappe tout particuli\u00e8rement les jeunes chercheurs et les doctorants engag\u00e9s dans ces consortiums. Au sein d’un march\u00e9 acad\u00e9mique hyper-comp\u00e9titif o\u00f9 la titularisation d\u00e9pend encore largement du nombre de publications en premier auteur dans des revues prestigieuses, signer un article collectif au milieu d’une liste alphab\u00e9tique de cent cinquante co-auteurs apporte une rentabilit\u00e9 de carri\u00e8re parfois per\u00e7ue comme incertaine. Trouver le juste \u00e9quilibre entre l’imp\u00e9ratif indispensable de v\u00e9rification rigoureuse et la stimulation d’une cr\u00e9ativit\u00e9 scientifique d\u00e9brid\u00e9e constitue l’un des d\u00e9fis majeurs de la recherche contemporaine.<\/p>\n Pour assurer la p\u00e9rennit\u00e9 de la r\u00e9volution m\u00e9thodologique initi\u00e9e par les projets Many Labs<\/em>, la communaut\u00e9 scientifique a compris que la transformation devait s’op\u00e9rer d\u00e8s la base : au sein des cursus de formation universitaire de premier et second cycles. L’enseignement de la psychologie exp\u00e9rimentale a trop longtemps repos\u00e9 sur des travaux pratiques de laboratoire obsol\u00e8tes, dont les r\u00e9sultats \u00e9taient connus d’avance et o\u00f9 les \u00e9tudiants \u00e9taient encourag\u00e9s \u00e0 \u00ab nettoyer \u00bb leurs donn\u00e9es jusqu’\u00e0 obtenir l’effet attendu conforme au manuel.<\/p>\n Sous l’\u00e9gide de projets comme le Collaborative Replications and Education Project (CREP)<\/a>, un mod\u00e8le p\u00e9dagogique novateur a vu le jour. Les \u00e9tudiants de licence et de master se voient d\u00e9sormais confier la r\u00e9alisation de r\u00e9plications directes hautement calibr\u00e9es d’\u00e9tudes contemporaines r\u00e9centes. Encadr\u00e9s par leurs professeurs et soumis \u00e0 des pr\u00e9-enregistrements stricts, ils apprennent les gestes de la science ouverte : gestion des donn\u00e9es brutes, anonymisation, codage reproductible en R et documentation transparente des al\u00e9as de l’exp\u00e9rimentation.<\/p>\n Cette p\u00e9dagogie par la recherche authentique m\u00e9tamorphose l’\u00e9thique des futurs scientifiques. Les \u00e9tudiants n’apprennent plus \u00e0 consid\u00e9rer la science comme un rituel de confirmation d’autorit\u00e9s magistrales, mais comme un processus d’investigation critique, modeste et auto-correctif. En contribuant \u00e0 des bases de donn\u00e9es r\u00e9plicatives r\u00e9elles int\u00e9gr\u00e9es ult\u00e9rieurement \u00e0 des m\u00e9ta-analyses mondiales, la nouvelle g\u00e9n\u00e9ration acquiert d\u00e8s les bancs de l’universit\u00e9 une culture de l’int\u00e9grit\u00e9 intellectuelle imperm\u00e9able aux d\u00e9rives du p-hacking<\/em>.<\/p>\n L’avenir de la science ouverte et des projets collaboratifs d\u00e9pend in fine de l’alignement des incitations institutionnelles avec les id\u00e9aux de rigueur \u00e9pist\u00e9mique. Longtemps, les agences nationales de financement de la recherche (telles que la NSF aux \u00c9tats-Unis, le CNRS ou l’ANR en France, ou l’ERC en Europe) ont allou\u00e9 leurs cr\u00e9dits presque exclusivement sur des crit\u00e8res de \u00ab nouveaut\u00e9 \u00bb et \u00ab d’originalit\u00e9 disruptive \u00bb, d\u00e9laissant le financement de la v\u00e9rification et de la r\u00e9plication.<\/p>\n Une prise de conscience structurelle s’op\u00e8re progressivement. Des organismes de financement exigent d\u00e9sormais des plans formels de gestion des donn\u00e9es ouvertes (Data Management Plans<\/em>) et r\u00e9servent des lignes budg\u00e9taires sp\u00e9cifiques pour financer des audits de r\u00e9plication \u00e0 grande \u00e9chelle. Parall\u00e8lement, des comit\u00e9s d’\u00e9valuation acad\u00e9mique commencent \u00e0 r\u00e9viser leurs crit\u00e8res d’embauche et de titularisation (tenure<\/em>).<\/p>\n Le mod\u00e8le obsol\u00e8te de l’\u00e9valuation quantitative au simple \u00ab facteur d’impact \u00bb (Journal Impact Factor<\/em>) et au nombre brut de citations est vigoureusement combattu par des initiatives internationales comme la D\u00e9claration de San Francisco sur l’\u00e9valuation de la recherche (DORA)<\/a> et l’accord CoARA (Coalition for Advancing Research Assessment<\/em>). La participation active \u00e0 des consortiums de Big Team Science, la publication de Registered Reports et le d\u00e9p\u00f4t public de jeux de donn\u00e9es r\u00e9utilisables commencent \u00e0 \u00eatre officiellement valoris\u00e9s comme des preuves majeures de leadership scientifique et d’excellence m\u00e9thodologique.<\/p>\n \u00c0 l’horizon des prochaines d\u00e9cennies, la recherche comportementale s’oriente vers un mod\u00e8le \u00e9pist\u00e9mique radicalement repens\u00e9 : la cr\u00e9ation de r\u00e9f\u00e9rentiels dynamiques et continus de fiabilit\u00e9 des connaissances. L’\u00e9poque o\u00f9 une publication imprim\u00e9e dans une revue sur papier glac\u00e9 figeait pour un quart de si\u00e8cle une th\u00e9orie intouchable est d\u00e9finitivement r\u00e9volue.<\/p>\n La convergence de la m\u00e9tascience, de l’ing\u00e9nierie des donn\u00e9es et des algorithmes d’analyse automatis\u00e9e permet d’envisager des \u00ab m\u00e9ta-analyses vivantes \u00bb (living meta-analyses<\/em>). Dans cet \u00e9cosyst\u00e8me en temps r\u00e9el, chaque nouvelle r\u00e9plication conduite \u00e0 travers le globe et pr\u00e9-enregistr\u00e9e sur l’OSF vient automatiquement s’agr\u00e9ger aux donn\u00e9es existantes, mettant \u00e0 jour de fa\u00e7on dynamique la taille d’effet estim\u00e9e, ses intervalles de pr\u00e9diction et son degr\u00e9 d’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 spatio-temporelle. Les manuels universitaires de demain ne d\u00e9criront plus des effets sur la base d’une anecdote exp\u00e9rimentale isol\u00e9e datant de 1978, mais sur la base d’un indice de confiance probabiliste mis \u00e0 jour en continu par des centaines de laboratoires ind\u00e9pendants.<\/p>\n L’\u00e9pop\u00e9e des projets de r\u00e9plication Many Labs<\/em> aura ainsi marqu\u00e9 le passage d’une science artisanale, vuln\u00e9rable aux biais individuels et aux d\u00e9rives de publication, \u00e0 une entreprise collective plan\u00e9taire, transparente et rigoureusement auto-corrective. En affrontant avec lucidit\u00e9 ses propres faiblesses, la psychologie n’a pas sign\u00e9 son d\u00e9clin : elle a d\u00e9montr\u00e9 une maturit\u00e9 \u00e9pist\u00e9mologique exemplaire, montrant la voie \u00e0 l’ensemble des sciences empiriques pour reconstruire une confiance soci\u00e9tale in\u00e9branlable dans la robustesse de ses d\u00e9couvertes.<\/p>\n Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology<\/em>, 100(3), 407\u2013425. https:\/\/doi.org\/10.1037\/a0021524<\/a><\/p>\n Carter, T. J., Ferguson, M. J., & Hassin, R. R. (2011). A single exposure to the American flag shifts support toward Republican politicians after the election. Psychological Science<\/em>, 22(8), 1011\u20131018. https:\/\/doi.org\/10.1177\/0956797611414726<\/a><\/p>\n Chambers, C. D. (2017). The seven deadly sins of psychology: A manifesto for reforming the culture of scientific practice<\/em>. Princeton University Press.<\/p>\n Ebersole, C. R., Atherton, O. E., Belanger, A. L., Skelly, N. E., Adams, R. B., Jr., Andr\u00e9, A., … & Nosek, B. A. (2016). Many Labs 3: Evaluating the replicability of the student pool across the academic semester. Journal of Experimental Social Psychology<\/em>, 67, 68\u201382. https:\/\/doi.org\/10.1016\/j.jesp.2016.02.003<\/a><\/p>\n Ebersole, C. R., Mathur, M. B., Baranski, E., Bart-Messing, E., \u010citkovi\u0107, N., Dijkstra, M., … & Nosek, B. A. (2020). Many Labs 5: Testing pre-data-collection peer review as an intervention to increase replicability. Advances in Methods and Practices in Psychological Science<\/em>, 3(3), 309\u2013331. https:\/\/doi.org\/10.1177\/2515245920958687<\/a><\/p>\n Greenberg, J., Pyszczynski, T., Solomon, S., Rosenblatt, A., Veeder, M., Kirkland, S., & Lyon, D. (1990). Evidence for terror management theory II: The effects of mortality salience on reactions to those who confirm or violate cultural values. Journal of Personality and Social Psychology<\/em>, 58(2), 308\u2013318. https:\/\/doi.org\/10.1037\/0022-3514.58.2.308<\/a><\/p>\n Henrich, J., Heine, S. J., & Norenzayan, A. (2010). The weirdest people in the world? Behavioral and Brain Sciences<\/em>, 33(2-3), 61\u201383. https:\/\/doi.org\/10.1017\/s0140525x0999152x<\/a><\/p>\n Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review<\/em>, 2(3), 196\u2013217. https:\/\/doi.org\/10.1207\/s15327957pspr0203_4<\/a><\/p>\n Klein, R. A., Ratliff, K. A., Vianello, M., Adams, R. B., Jr., Bahn\u00edk, \u0160., Bernstein, M. J., … & Nosek, B. A. (2014). Investigating variation in replicability: A \u00ab\u00a0Many Labs\u00a0\u00bb replication project. Social Psychology<\/em>, 45(3), 142\u2013152. https:\/\/doi.org\/10.5334\/jop.ag<\/a><\/p>\n Klein, R. A., Vianello, M., Hasselman, F., Adams, B. G., Adams, R. B., Jr., Alper, S., … & Nosek, B. A. (2018). Many Labs 2: Investigating variation in replicability across samples and settings. Advances in Methods and Practices in Psychological Science<\/em>, 1(4), 443\u2013490. https:\/\/doi.org\/10.1177\/2515245918810225<\/a><\/p>\n Klein, R. A., Cook, C. L., Ebersole, C. R., Vitiello, C., Nosek, B. A., Chartier, C. R., … & Ratliff, K. A. (2022). Many Labs 4: Failure to replicate mortality salience effect with and without original author involvement. Collabra: Psychology<\/em>, 8(1), Article 282. https:\/\/doi.org\/10.1525\/collabra.282<\/a><\/p>\n Moshontz, H., Campbell, L., Ebersole, C. R., IJzerman, H., Urry, H. L., Forscher, P. S., … & Chartier, C. R. (2018). The Psychological Science Accelerator: Advancing psychology through a distributed collaborative network. Advances in Methods and Practices in Psychological Science<\/em>, 1(4), 501\u2013515. https:\/\/doi.org\/10.1177\/2515245918797607<\/a><\/p>\n Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science<\/em>, 349(6251), Article aac4716. https:\/\/doi.org\/10.1126\/science.aac4716<\/a><\/p>\n Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science<\/em>, 22(11), 1359\u20131366. 1. Introduction et contexte historique : L’\u00e9mergence de la crise de la reproductibilit\u00e9 en psychologie<\/h2>\n
1.1 Les signaux d’alerte initiaux et les failles m\u00e9thodologiques<\/h3>\n
1.2 Le choc \u00e9pist\u00e9mologique du Reproducibility Project: Psychology<\/h3>\n
1.3 La transition conceptuelle vers les collaborations multi-laboratoires<\/h3>\n
2. Gen\u00e8se et architecture m\u00e9thodologique des projets Many Labs<\/h2>\n
2.1 Les principes fondateurs de l’initiative Many Labs<\/h3>\n
2.2 Protocoles standardis\u00e9s et r\u00e9duction des degr\u00e9s de libert\u00e9 du chercheur<\/h3>\n
2.3 La s\u00e9lection raisonn\u00e9e des effets psychologiques cibles<\/h3>\n
3. Many Labs 1 : Pionnier de l’\u00e9valuation syst\u00e9matique de la variabilit\u00e9 des effets<\/h2>\n
3.1 Structure et d\u00e9ploiement du premier volet collectif<\/h3>\n
3.2 Succ\u00e8s et d\u00e9convenues parmi les effets examin\u00e9s<\/h3>\n
3.3 L’analyse in\u00e9dite de la variabilit\u00e9 inter-sites<\/h3>\n
4. Many Labs 2 : L’impact de la diversit\u00e9 culturelle et contextuelle sur la r\u00e9plicabilit\u00e9<\/h2>\n
4.1 Une ambition plan\u00e9taire : sortir du paradigme WEIRD<\/h3>\n
4.2 R\u00e9sultats comparatifs entre \u00e9chantillons occidentaux et non-occidentaux<\/h3>\n
4.3 Les enseignements sur la mod\u00e9ration contextuelle<\/h3>\n
5. Many Labs 3 : L’effet du temps et de la temporalit\u00e9 universitaire sur les r\u00e9sultats<\/h2>\n
5.1 L’hypoth\u00e8se de la d\u00e9t\u00e9rioration temporelle des cohortes \u00e9tudiantes<\/h3>\n
5.2 Analyse empirique des variations intra-semestre<\/h3>\n
5.3 Cons\u00e9quences pour la logistique des laboratoires de psychologie<\/h3>\n
6. Many Labs 4 : L’expertise m\u00e9thodologique et l’implication des auteurs originaux<\/h2>\n
6.1 Le cas \u00e9pineux de la th\u00e9orie de la gestion de la terreur<\/h3>\n
6.2 Controverses d’ex\u00e9cution et divergences d’interpr\u00e9tation<\/h3>\n
6.3 Le\u00e7ons pour la collaboration entre r\u00e9plicateurs et auteurs d’origine<\/h3>\n
7. Many Labs 5 : \u00c9valuation des protocoles examin\u00e9s par les pairs avant enregistrement<\/h2>\n
7.1 Le format Registered Replication Reports sous la loupe<\/h3>\n
7.2 R\u00e9sultats comparatifs entre versions pr\u00e9-approuv\u00e9es et originales<\/h3>\n
7.3 Implications pour l’\u00e9dition scientifique et le processus d’\u00e9valuation<\/h3>\n
8. Analyses statistiques et traitement de l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 des tailles d’effet<\/h2>\n
8.1 Mod\u00e8les m\u00e9ta-analytiques appliqu\u00e9s aux donn\u00e9es multi-sites<\/h3>\n
8.2 La d\u00e9tection des biais de s\u00e9lection et des distorsions de puissance<\/h3>\n
8.3 L’interpr\u00e9tation th\u00e9orique de l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 minimale<\/h3>\n
9. Cons\u00e9quences \u00e9pist\u00e9mologiques et th\u00e9oriques pour la science psychologique<\/h2>\n
9.1 Le tri s\u00e9lectif des th\u00e9ories psychologiques \u00e9tablies<\/h3>\n
9.2 La red\u00e9finition de la robustesse d’un ph\u00e9nom\u00e8ne exp\u00e9rimental<\/h3>\n
\n
9.3 L’\u00e9volution de la conceptualisation th\u00e9orique en psychologie<\/h3>\n
10. Innovations structurelles : Vers une science collaborative et ouverte<\/h2>\n
10.1 L’essor de la Big Team Science et des consortiums mondiaux<\/h3>\n
10.2 Le r\u00f4le structurant du Center for Open Science et de l’OSF<\/h3>\n
10.3 L’institutionnalisation des Registered Reports<\/h3>\n
\n
11. Critiques, limites et d\u00e9bats m\u00e9thodologiques entourant les initiatives Many Labs<\/h2>\n
11.1 La critique de l’absence de sensibilit\u00e9 th\u00e9orique et culturelle<\/h3>\n
11.2 La contestation de la validit\u00e9 \u00e9cologique des passations de masse<\/h3>\n
11.3 Les co\u00fbts humains, logistiques et d’opportunit\u00e9 de la m\u00e9ta-recherche<\/h3>\n
12. Perspectives futures : L’institutionnalisation des r\u00e9plications massives et l’avenir de la recherche<\/h2>\n
12.1 L’int\u00e9gration de la r\u00e9plication dans la formation universitaire<\/h3>\n
12.2 La r\u00e9forme des crit\u00e8res de financement et de titularisation<\/h3>\n
12.3 Vers un mod\u00e8le \u00e9pist\u00e9mique auto-correctif et cumulatif<\/h3>\n
R\u00e9f\u00e9rences<\/h2>\n