P-Hacking vs Pratiques de Science Ouverte

L’édifice de la science moderne repose sur une promesse fondamentale : celle de produire des connaissances fiables, cumulatives et indépendantes des désirs ou des croyances des chercheurs qui les formulent. Depuis l’émergence de la méthode expérimentale et la formalisation des normes de la recherche académique — théorisées notamment par Robert K. Merton sous les principes de communalisme, d’universalisme, de désintéressement et de scepticisme organisé —, la validation empirique constitue l’arbitre suprême des théories scientifiques. Cependant, au cours des deux dernières décennies, cet idéal épistémologique a été ébranlé par un ensemble de crises méthodologiques convergentes. La découverte de taux alarmants de non-reproductibilité dans des disciplines aussi variées que la psychologie sociale, la pharmacologie préclinique, les neurosciences et l’économie a révélé une faille structurelle majeure dans la manière dont les données empiriques sont collectées, analysées et publiées.

Au cœur de cette tourmente se trouve la confrontation entre deux approches radicalement divergentes de la pratique scientifique : le p-hacking d’un côté, et les pratiques de science ouverte (Open Science) de l’autre. Le p-hacking, souvent désigné sous les termes d’exploitation opportuniste des données ou de pêche aux résultats significatifs, renvoie à un ensemble de décisions analytiques flexibles et non documentées prises après la consultation des données, ayant pour effet d’abaisser artificiellement la valeur de p sous le seuil rituel de 0,05 afin d’obtenir un résultat publiable. Loin d’être un acte marginal de fraude manifeste, cette pratique s’est insidieusement banalisée au sein des laboratoires du monde entier, nourrie par une écologie institutionnelle toxique gouvernée par l’adage « publier ou périr » (publish or perish) et par un biais éditorial massif en faveur des résultats statistiquement significatifs et novateurs.

Face à cette dérive méthodologique qui altère la fidélité de la littérature scientifique, le mouvement de la science ouverte s’est constitué non seulement comme un contre-modèle éthique, mais surtout comme une refonte structurelle, technique et politique de l’entreprise scientifique. En prônant la transparence intégrale des protocoles, le pré-enregistrement des hypothèses et des plans d’analyse, l’accès universel aux données brutes ainsi qu’aux codes informatiques, la science ouverte entend immuniser la démarche empirique contre l’arbitraire des choix a posteriori. La confrontation entre le p-hacking et la science ouverte ne constitue donc pas une simple querelle d’experts sur l’usage des statistiques ; elle incarne un combat décisif pour l’intégrité de la science contemporaine, opposant la maximisation des opportunités de carrière individuelle à la pérennité du savoir collectif.

1. Introduction : La crise de reproductibilité et les dynamiques méthodologiques contemporaines

1.1 Définition préliminaire et contextualisation épistémologique

L’émergence de la crise de la reproductibilité au début des années 2010 a profondément altéré la confiance de la communauté scientifique dans ses propres productions. Si des mises en garde épistémologiques avaient été formulées de longue date concernant les limites du paradigme dominant des tests de signification d’hypothèse nulle (Null Hypothesis Significance Testing ou NHST), l’onde de choc est devenue globale avec la publication de vastes initiatives collaboratives visant à reproduire des expériences publiées dans les revues les plus prestigieuses. Les constats se sont avérés sans appel : qu’il s’agisse des projets menés en psychologie expérimentale par l’Open Science Collaboration ou des audits internes conduits au sein de l’industrie pharmaceutique par des firmes telles qu’Amgen et Bayer dans le domaine de l’oncologie préclinique, une proportion substantielle des effets rapportés dans la littérature s’est avérée impossible à reproduire de manière robuste. Cette faillite empirique ne résultait pas principalement d’actes criminels de falsification délibérée, tels que la fabrication pure et simple de données de toutes pièces, mais d’un phénomène bien plus pernicieux, systémique et diffus : le p-hacking.

Le p-hacking se définit comme un ensemble d’inflexions méthodologiques, de manipulations statistiques opportunistes et de sélections arbitraires opérées lors du traitement des données dans le but d’obtenir une valeur de p inférieure au seuil conventionnel de significativité statistique (généralement fixé à $\alpha = 0{,}05$). Cette pratique transforme insidieusement une démarche d’investigation inductive en une démonstration faussement déductive. En exploitant ce que la littérature nomme les « degrés de liberté du chercheur », l’analyste teste de multiples combinaisons de modèles, ajoute ou soustrait des covariables, exclut certains participants ou transforme ses variables jusqu’à ce que le test statistique délivre le verdict attendu. Ce processus crée l’illusion d’une régularité empirique là où ne se trouve en réalité qu’une fluctuation d’échantillonnage aléatoire.

À l’opposé diamétral de cette dérive se dresse le paradigme de la science ouverte. La science ouverte ne se réduit pas à une simple modalité de diffusion numérique ou à une incitation à la bienveillance déontologique ; elle constitue un mouvement de réorganisation institutionnelle et méthodologique fondé sur le principe de la traçabilité absolue du processus de recherche. En postulant que l’accès libre, immédiat et sans entrave aux publications, aux protocoles méthodologiques, aux données brutes et aux algorithmes de calcul est la condition sine qua non de la validité scientifique, la science ouverte substitue à la culture du résultat isolé et sensationnel une culture de la rigueur procédurale. La confrontation épistémologique entre le p-hacking et la science ouverte reflète ainsi une scission fondamentale : d’une part, une science fermée où les coulisses de l’analyse restent opaques, autorisant la rationalisation post-hoc de contingences empiriques ; d’autre part, une science transparente qui aligne les pratiques des chercheurs sur les exigences de robustesse et de vérifiabilité collective.

1.2 Pourquoi confronter ces deux paradigmes ?

Confronter le p-hacking et les pratiques de science ouverte est une nécessité urgente en raison de l’ambiguïté qui a longtemps régné dans les laboratoires quant à la frontière entre exploration statistique légitime et manipulation frauduleuse. Pendant des décennies, les chercheurs ont été formés à analyser leurs données selon des approches itératives, modifiant leurs hypothèses à la lumière des résultats intermédiaires sans percevoir que ces pratiques violaient radicalement les postulats mathématiques des tests fréquentistes d’inférence statistique. Cette porosité entre l’intuition scientifique sincère et la distorsion des protocoles a engendré une zone grise massive où des pratiques méthodologiquement toxiques ont été normalisées sous le couvert de « l’intuition du chercheur » ou de la « clarification des données ». Confronter méthodiquement le p-hacking aux normes de la science ouverte permet de lever cette ambiguïté fondamentale et de dissocier formellement la génération créative d’hypothèses de leur test rigoureux.

Cette confrontation s’impose également par l’analyse des structures d’incitation qui régissent l’économie universitaire mondiale. Les comités d’évaluation, les agences de financement et les comités éditoriaux ont historiquement valorisé des indicateurs quantitatifs réducteurs, tels que le facteur d’impact des revues et l’indice h des auteurs, adossés à une préférence systématique pour les résultats spectaculaires, positifs et univoques. Dans un tel environnement, le chercheur se trouve confronté à un conflit d’intérêts structurel : appliquer une méthodologie d’une rigueur absolue et risquer de n’obtenir aucun résultat statistiquement significatif (condamnant son étude aux tiroirs de l’oubli), ou exploiter ses degrés de liberté analytiques pour transformer un résultat ambigu en une découverte sensationnelle publiable dans une revue de premier plan. La science ouverte n’intervient pas seulement comme un rappel à l’ordre moral, mais comme une tentative de subvertir ce système d’incitations perverses en déplaçant la valeur accordée à l’article de la nature spectaculaire de ses conclusions vers la qualité intrinsèque et pré-validée de son protocole méthodologique.

Enfin, la clarification de cette dichotomie s’avère indispensable pour établir un cadre normatif stable à l’intention des futures générations de chercheurs. Alors que l’intelligence artificielle et l’automatisation de l’analyse de données décuplent les capacités de calcul, la facilité avec laquelle des motifs purement fortuits peuvent être extraits de volumineuses bases de données — phénomène connu sous le nom de data dredging ou de forage de données — atteint des proportions industrielles. Sans un cadre normatif clair imposé par la science ouverte, le risque est grand de voir la littérature scientifique submergée par des artefacts computationnels sophistiqués. Comprendre comment la science ouverte neutralise le p-hacking permet de redéfinir la validité de la preuve à l’ère numérique, en garantissant que les politiques de santé publique, les innovations technologiques et les consensus scientifiques s’appuient sur des données irréprochables.

2. Comprendre le P-Hacking : Mécanismes, motivations et manifestations

2.1 Mécanismes statistiques et degrés de liberté du chercheur

Pour appréhender la mécanique du p-hacking, il est indispensable de revenir aux fondements mathématiques de l’inférence fréquentiste classique formalisée par Ronald Fisher, Jerzy Neyman et Egon Pearson. Dans le cadre canonique du test de signification d’hypothèse nulle, la valeur de p représente la probabilité d’obtenir, sous l’hypothèse nulle ($H_0$) qu’il n’existe aucun effet réel dans la population, une statistique de test au moins aussi extrême que celle observée dans l’échantillon. La convention universelle établie arbitrairement par Fisher fixe le seuil de significativité critique à $\alpha = 0{,}05$, signifiant qu’un chercheur accepte un risque de 5 % de rejeter l’hypothèse nulle alors qu’elle est en réalité vraie, commettant ainsi une erreur de type I (faux positif). Cependant, ce postulat mathématique n’est valide que si le test est appliqué à une seule hypothèse prédéfinie, sur un jeu de données fixé, selon une procédure d’échantillonnage arrêtée a priori.

Dès lors que le chercheur déploie ce que Simmons, Nelson et Simonsohn (2011) ont conceptualisé sous le terme de « degrés de liberté du chercheur » (researcher degrees of freedom), la probabilité nominale de 5 % explose de manière exponentielle. Les degrés de liberté du chercheur désignent l’ensemble des décisions informelles, non documentées et souvent subjectives prises tout au long de la chaîne analytique. L’un des mécanismes les plus prévalents est la collecte de données conditionnelle, ou arrêt prématuré (optional stopping). Un investigateur collecte les réponses de 30 participants, effectue un test statistique, constate que $p = 0{,}08$, puis décide de recruter 10 participants supplémentaires dans l’espoir de faire basculer la statistique sous la barre des 0,05, répétant l’opération jusqu’à ce que le seuil soit franchi. Sur le plan probabiliste, cette inspection répétée des données multiplie le taux d’erreur de type I réel, le faisant grimper bien au-delà de 20 % ou 30 % selon la fréquence des tests intermédiaires, car le chercheur donne au hasard de multiples occasions d’atteindre le seuil critique.

Un autre vecteur majeur de p-hacking réside dans la manipulation des covariables et le choix sélectif des variables de contrôle dans les modèles d’analyse multivariée ou d’analyse de covariance (ANCOVA). Face à une relation bivariée non significative entre une variable indépendante $X$ et une variable dépendante $Y$, l’analyste peut tester des dizaines de combinaisons de covariables (âge, genre, niveau d’éducation, statut socio-économique, interactions variées). En omettant de mentionner les modèles qui ont échoué pour ne publier que celui où l’introduction d’un ensemble spécifique de régresseurs rend l’effet principal « significatif », le chercheur transforme un bruit statistique en une prétendue découverte. De même, les pratiques de transformation non motivée des variables — passage arbitraire d’une échelle continue à des catégories discrètes par découpage en médianes ou en tertiles, élimination post-hoc de données considérées comme aberrantes (outliers) sans critère formalisé préalable, ou recours opportuniste à des transformations logarithmiques uniquement lorsque celles-ci améliorent la valeur de p — constituent des manifestations quotidiennes de cette manipulation algorithmique.

2.2 Facteurs structurels et psychologiques sous-jacents

La persistance et la généralisation du p-hacking ne peuvent être comprises si on les réduit à un manque d’éthique individuelle. Elles résultent de forces macro-structurelles et de biais cognitifs qui convergent pour récompenser la flexibilité méthodologique. Sur le plan institutionnel, l’académie contemporaine demeure soumise à la tyrannie du facteur d’impact et au phénomène du biais de publication. Depuis des décennies, les revues scientifiques de premier rang rejettent de manière quasi-systématique les études concluant à des absences d’effet (les « résultats nuls »), considérées comme ennuyeuses, peu vendeuses et incapables de générer des citations. La valeur marchande d’un chercheur sur le marché de l’emploi académique — pour l’obtention d’une titularisation, l’attribution de bourses de recherche ou la reconnaissance par ses pairs — dépend directement de sa capacité à produire des résultats positifs. Cette réalité socio-économique génère une pression systémique intolérable incitant à « faire parler les données » à tout prix.

À cette architecture institutionnelle délétère s’ajoutent des mécanismes psychologiques puissants, au premier rang desquels figure le biais de confirmation. Lorsqu’un scientifique conçoit une expérience, il nourrit presque invariablement une théorie préalable qu’il souhaite valider. Si les données brutes initiales ne confirment pas cette hypothèse, le chercheur ne conclut que rarement à la fausseté de son intuition théorique ; il tend plutôt à suspecter un problème technique, un bruit expérimental indésirable ou la présence de variables modératrices non contrôlées. Guidé par une rationalisation sincère mais biaisée, il explore activement son corpus de données jusqu’à dénicher la configuration statistique qui soutient son intuition première. Ce processus s’accompagne fréquemment du phénomène de HARKing (Hypothesizing After the Results are Known), décrit par Norbert Kerr (1998), qui consiste à présenter une découverte purement sérendipiteuse ou accidentelle, repérée au détour d’un croisement statistique post-hoc, comme si elle avait été l’hypothèse de départ déduite logiquement d’un corpus théorique bien établi.

Enfin, cette vulnérabilité est amplifiée par des lacunes persistantes dans la formation pédagogique dispensée aux apprentis chercheurs. L’enseignement traditionnel des statistiques dans les filières de sciences humaines, biologiques et médicales s’est trop souvent résumé à un apprentissage mécanique de recettes algorithmiques, où l’étudiant apprend à exécuter des tests sous un logiciel propriétaire sans appréhender la profondeur épistémologique de l’inférence. L’absence d’une compréhension intime des paradoxes de l’inférence fréquentiste, des dangers des comparaisons multiples et des perspectives alternatives offertes par l’inférence bayésienne a créé des générations d’analystes inconscients du fait que la flexibilité dans le choix des tests équivaut mathématiquement à une auto-illusion statistique dévastatrice.

2.3 Conséquences systémiques sur la littérature académique

Les répercussions du p-hacking sur l’édifice scientifique mondial sont profondes et délétères. La conséquence la plus immédiate est une inflation massive et invisible du taux de faux positifs dans la littérature à comité de lecture. Comme l’a démontré de manière fondatrice John Ioannidis dans son article iconique de 2005 intitulé « Why Most Published Research Findings Are False », la combinaison d’une faible puissance statistique, d’une flexibilité analytique élevée et de biais de sélection des résultats conduit à une situation où la majorité des découvertes publiées prétendant à la vérité empirique sont en réalité des aberrations statistiques. En saturant les revues de relations causales chimériques, le p-hacking transforme des corpus scientifiques entiers en châteaux de sable méthodologiques, rendant les synthèses quantitatives ultérieures, telles que les méta-analyses traditionnelles, particulièrement vulnérables à l’illusion du consensus.

Au-delà de la multiplication des faux positifs, le p-hacking induit une surestimation dramatique et systématique de la taille des effets réels, un phénomène connu sous le vocable de « malédiction du vainqueur » (winner’s curse). Lorsqu’un effet réel existe mais présente une magnitude modeste dans la population générale, seules les fluctuations d’échantillonnage qui gonflent artificiellement sa taille permettent d’atteindre le seuil critique de significativité statistique en présence d’échantillons de taille réduite. En publiant exclusivement ces versions hypertrophiées de l’effet, les chercheurs transmettent à la communauté une estimation erronée de la puissance des phénomènes étudiés, trompant ainsi les cliniciens, les décideurs publics et les concepteurs de politiques d’intervention sur l’efficacité véritable des thérapeutiques ou des programmes sociaux mis en œuvre.

Ce dysfonctionnement engendre un gaspillage colossal de ressources publiques et philanthropiques. Des millions d’heures de travail de chercheurs hautement qualifiés et des budgets de recherche colossaux sont engloutis dans la tentative de répliquer ou de prolonger des résultats initiaux prestigieux mais fondamentalement viciés par l’exploitation statistique des données. Dans le secteur biomédical, cette dérive prend une tournure tragique : des essais cliniques de phases précoces sont initiés chez l’humain sur la base de découvertes fondamentales in vitro ou animales obtenues par p-hacking, exposant des patients à des thérapeutiques dénuées d’efficacité réelle et retardant le développement de solutions médicales authentiquement curatives. Enfin, sur le plan sociétal, l’étalage récurrent de controverses scientifiques nées de l’effondrement de théories adulées alimente le scepticisme public et offre des arguments spécieux aux mouvements contestataires rejetant l’autorité de la preuve scientifique.

3. Comprendre la Science Ouverte : Principes, piliers et écosystème

3.1 Les piliers fondamentaux du mouvement open science

En rupture radicale avec les pratiques d’opacité qui ont rendu le p-hacking possible et structurellement rentable, le mouvement de la science ouverte (Open Science) s’est affirmé comme une réingénierie globale de la méthode scientifique. Loin d’être une simple posture idéologique favorable à la gratuité numérique, la science ouverte s’articule autour de piliers méthodologiques rigoureux conçus pour rétablir une correspondance stricte entre la réalité des protocoles de recherche et les affirmations publiées. Le premier de ces piliers, et indubitablement le plus structurant pour juguler les dérives statistiques, est le pré-enregistrement (preregistration) des études. Le pré-enregistrement contraint les chercheurs à consigner formellement, sur une plateforme numérique immuable et horodatée avant d’avoir accès aux données, l’ensemble de leurs hypothèses de recherche, les critères précis d’inclusion et d’exclusion des participants, la taille définitive de l’échantillon visé et le script complet des analyses statistiques prévues.

Le deuxième pilier repose sur le principe de l’Open Data (données ouvertes) et de l’Open Materials (matériels ouverts). Dans le modèle traditionnel de l’article scientifique hermétique, le lecteur ne dispose que d’un récit synthétique et épuré rédigé par les auteurs, les données brutes demeurant inaccessibles sur les disques durs personnels, protégées par le prétexte commode mais souvent fallacieux de la confidentialité ou de la propriété intellectuelle. La science ouverte exige que les matrices de données anonymisées complètes soient déposées dans des entrepôts sécurisés et publics, accompagnées de l’ensemble des stimuli expérimentaux, des questionnaires, des protocoles de laboratoire et des guides de codage. Cette mise à disposition permet non seulement l’audit minutieux des résultats par des pairs indépendants, mais elle facilite également la détection des anomalies, la vérification de la robustesse des modèles et l’agrégation continue des données au sein de mégabases de données ouvertes.

Le troisième pilier réside dans l’ouverture des codes sources et des scripts de calcul computationnels (Open Code). À une époque où l’écrasante majorité des sciences empiriques repose sur des chaînes de traitement informatique complexes sous des langages tels que R, Python, Julia ou MATLAB, la simple description textuelle des analyses dans la section méthodologique d’un article s’avère systématiquement insuffisante pour assurer la reproductibilité computationnelle exacte. La mise à disposition intégrale du code exécutable garantit que la transformation des données brutes en tableaux de résultats définitifs ne dissimule aucune ligne de commande subreptice, aucune exclusion arbitraire de lignes du tableau et aucun paramétrage biaisé d’algorithmes d’estimation. Enfin, ce dispositif est parachevé par l’accès ouvert aux publications (Open Access) et par l’évaluation par les pairs ouverte (Open Peer Review), qui permettent de désenclaver le savoir scientifique en soumettant les expertises critiques à la vue de tous, renforçant ainsi la responsabilité déontologique des évaluateurs.

3.2 Outils et architectures institutionnelles

Pour dépasser le stade de l’incantation morale, le mouvement de la science ouverte a développé un écosystème d’infrastructures techniques robustes et de nouveaux standards éditoriaux. Au premier rang de ces technologies figurent les plateformes d’archivage et de pré-enregistrement, telles que l’Open Science Framework (OSF), développée par le Center for Open Science, ou le service simplifié AsPredicted. Ces plateformes offrent aux équipes de recherche un environnement cryptographiquement sécurisé permettant de sceller des plans d’expérience horodatés, rendus infalsifiables grâce à des mécanismes d’empreintes numériques (hash). Le chercheur peut conserver son protocole sous un embargo temporaire le temps de la collecte des données pour protéger sa primeur intellectuelle, tout en garantissant qu’au moment de la publication, la conformité entre le plan initial et le manuscrit final pourra être rigoureusement auditée par les pairs.

L’innovation institutionnelle la plus radicale et la plus efficace contre les dérives du p-hacking est incontestablement le format éditorial des Registered Reports (rapports pré-enregistrés). Contrairement au cycle de publication standard où les pairs n’évaluent le manuscrit qu’une fois les données collectées et les analyses achevées — ce qui encourage les auteurs à polir artificiellement leurs résultats pour séduire les réviseurs —, les Registered Reports scindent l’évaluation par les pairs en deux étapes temporelles étanches :

• Étape 1 (Stage 1) : Le chercheur soumet à la revue uniquement son introduction théorique, ses hypothèses et son protocole méthodologique exhaustif assorti d’une analyse de puissance a priori très exigeante, avant même d’avoir recruté le moindre participant ou collecté la moindre observation empirique. Les pairs évaluent la pertinence de la question posée, la rigueur du design expérimental et la faisabilité technique. Si le protocole est jugé solide, la revue accorde une acceptation de principe (In-Principle Acceptance ou IPA).
• Étape 2 (Stage 2) : Le chercheur conduit l’expérience strictement selon le protocole validé, dépose ses données et codes ouverts, puis soumet le manuscrit finalisé incluant la section des résultats et de la discussion. Dès lors que les données ont été collectées dans le respect du protocole validé en Étape 1, la revue s’engage formellement à publier l’article, que les résultats soient statistiquement significatifs, nuls, contraires aux hypothèses ou ambigus.

Parallèlement, la standardisation de la gestion des données a trouvé une assise universelle à travers les principes directeurs FAIR (Findable, Accessible, Interoperable, Reusable), qui imposent que les données scientifiques soient identifiées par des identifiants pérennes (comme les DOI), accompagnées de métadonnées riches, structurées dans des formats ouverts non propriétaires et associées à des licences d’utilisation transparentes (telles que les licences Creative Commons). En outre, plus de mille revues scientifiques ont souscrit aux normes TOP (Transparency and Openness Promotion Guidelines), qui instaurent une graduation d’exigences contractuelles obligeant les auteurs à divulguer si leurs données, leurs codes et leurs protocoles sont partagés, voire à conditionner la soumission de tout manuscrit à l’ouverture effective de ces artefacts méthodologiques.

3.3 Bénéfices pour la communauté scientifique et la société

L’adoption des pratiques de science ouverte engendre des externalités positives considérables qui transcendent la seule neutralisation des erreurs méthodologiques. Le premier bénéfice réside dans la restauration de la robustesse fondamentale du corpus scientifique mondial. Lorsque les études sont publiées sous le format des Registered Reports, le taux de confirmation des hypothèses initiales s’effondre de manière spectaculaire, passant d’un niveau artificiel de plus de 90 % dans la littérature conventionnelle à environ 40 % ou 50 %. Ce chiffre, loin de témoigner d’un échec de l’investigation, reflète fidèlement la réalité de la démarche exploratoire dans des domaines complexes : il réhabilite pleinement la dignité épistémique des « résultats nuls », qui cessent d’être des échecs professionnels honteux pour redevenir des données scientifiques informatives écartant des impasses théoriques.

Sur le plan de l’équité et de la justice épistémique internationale, la science ouverte constitue un formidable vecteur de démocratisation. Pendant des générations, l’accès aux avancées de la recherche et la possibilité de conduire des méta-recherches novatrices sont demeurés l’apanage quasi-exclusif des universités occidentales richement dotées, capables de s’acquitter des tarifs prohibitifs imposés par les grands cartels de l’édition scientifique privée (les paywalls). En rendant les jeux de données bruts, les outils computationnels open-source et les publications accessibles instantanément à n’importe quel chercheur ou étudiant sur la planète, de l’Afrique subsaharienne à l’Asie du Sud-Est, l’Open Science permet une réutilisation productive des corpus empiriques existants par des équipes dépourvues de budgets colossaux pour financer des laboratoires expérimentaux lourds.

Enfin, pour la société civile dans son ensemble, l’ouverture structurelle de la démarche de recherche permet d’accélérer substantiellement le rythme des découvertes cumulatives tout en consolidant le pacte de confiance entre la cité et la communauté académique. La crise sanitaire mondiale de la COVID-19 en a fourni une illustration saisissante : le partage immédiat de la séquence génomique virale sur des serveurs ouverts et la diffusion en prépublication ouverte des essais thérapeutiques ont permis le développement de vaccins à une vitesse historiquement sans précédent. La science ouverte déplace le centre de gravité de l’activité intellectuelle de la proprietary science (science de possession et de rétention) vers une ressource commune universelle, offrant aux citoyens et aux décideurs publics la garantie que les connaissances mobilisées n’ont pas été sculptées par les biais opportunistes du p-hacking.

4. Différences fondamentales entre P-Hacking et Science Ouverte

4.1 Dimensions conceptuelles et méthodologiques

Pour appréhender la rupture paradigmatique qui s’opère dans la recherche contemporaine, il est nécessaire de confronter le p-hacking et la science ouverte le long d’axes épistémologiques précis. La première dimension de divergence concerne la finalité téléologique de l’acte de recherche. Dans le paradigme traditionnel où s’épanouit le p-hacking, l’objectif opérationnel implicite de l’analyste est la maximisation du résultat : la validation d’une hypothèse orientée et l’obtention d’un seuil $p < 0{,}05$ conditionnent l'acceptabilité sociale et professionnelle du travail. La fin (le résultat spectaculaire et propre) justifie les moyens (la sélection des données et la transformation opportuniste des variables). À l'inverse, la science ouverte promeut une épistémologie où la fin est subordonnée à la fidélité absolue au processus : la valeur d’une étude réside exclusivement dans la rigueur formelle de son design, dans sa puissance statistique a priori et dans l’exactitude de son exécution, quelle que soit la direction finale prise par les données.

La deuxième divergence majeure a trait à la transparence et à la traçabilité de l’espace d’analyse statistique. Dans une démarche compromise par le p-hacking, l’analyste évolue dans ce qu’Andrew Gelman et Eric Loken (2014) ont métaphorisé sous le concept de « jardin aux sentiers qui bifurquent » (garden of forking paths). Au fil du traitement des données, le chercheur emprunte une multitude de bifurcations analytiques possibles (inclure ou exclure tel sujet, transformer telle variable, ajouter telle covariable), tout en dissimulant l’ensemble des branches non fructueuses pour ne présenter dans son article final qu’un sentier rectiligne et immaculé. La science ouverte impose au contraire une traçabilité intégrale : chaque embranchement doit être spécifié à l’avance dans un plan d’analyse immuable, et si des déviations en cours de route s’avèrent scientifiquement inévitables (par exemple en raison d’un problème technique imprévu sur un instrument), elles doivent être explicitement étiquetées, justifiées et documentées dans le cahier de laboratoire numérique public.

Une troisième ligne de fracture fondamentale concerne la gestion du risque statistique et la temporalité de l’engagement théorique. Le p-hacking repose mathématiquement sur une exploitation systématique de l’erreur d’échantillonnage et de l’erreur de type I : en multipliant silencieusement les angles d’attaque sur un jeu de données, l’analyste augmente considérablement la probabilité d’observer un résultat trompeur dû au hasard tout en le présentant comme une régularité déterministe. De plus, la formulation des hypothèses s’y effectue trop souvent de manière rétroactive (HARKing), réécrivant l’histoire intellectuelle du projet pour faire coïncider les prémisses théoriques avec les anomalies statistiques décelées post-hoc. La science ouverte, en restaurant la primauté du pré-enregistrement, contraint l’esprit scientifique à un engagement prospectif absolu : les prédictions sont gravées dans le marbre numérique avant la révélation des données, rétablissant la frontière logique infranchissable entre le contexte de découverte et le contexte de justification conceptualisé par Hans Reichenbach.

4.2 Matrice comparative des dimensions opérationnelles

Le tableau ci-dessous formalise l’opposition systématique entre les pratiques caractéristiques du p-hacking et les mécanismes correcteurs institués par l’écosystème de la science ouverte :

Dimension Analytique	P-Hacking (Approche Traditionnelle Déviante)	Science Ouverte (Approche Méthodologique Réformée)
Définition & Mécanique	Sélection opportuniste de données, d’analyses et de modèles statistiques a posteriori pour franchir le seuil $p < 0{,}05$.	Standardisation prospective du protocole, archivage public des données brutes, des codes exécutables et des matériels.
Intentionnalité & Psychologie	Va de la manipulation consciente (fraude mineure) au biais de confirmation sincère sous l’emprise du HARKing.	Désamorçage conscient des biais cognitifs personnels par l’auto-liaison méthodique et la transparence déontologique.
Transparence Procédurale	Opacité totale : dissimulation du « jardin aux sentiers qui bifurquent » ; publication du seul modèle concluant.	Traçabilité absolue : accès aux scripts complets, aux données brutes non nettoyées et aux logs de modifications horodatés.
Gestion des Hypothèses	Hypothèses flexibles formulées ou ajustées après avoir examiné la distribution empirique des résultats (rétrospection).	Hypothèses figées a priori dans un pré-enregistrement public avant toute collecte de données (prospection pure).
Écosystème Logiciel	Logiciels propriétaires fermés à interface graphique (« pointer-cliquer »), facilitant les altérations non auditables.	Environnements computationnels reproductibles et ouverts (R, Python, Quarto, Jupyter) documentant chaque calcul.
Impact sur la Reproductibilité	Inflation drastique des faux positifs (Type I), surestimation massive des tailles d’effet, réplications impossibles.	Taux de faux positifs borné au seuil nominal réel, estimation non biaisée des magnitudes d’effet, auditabilité totale.
Format de Publication Clé	L’article narratif classique rétroactif soumis après analyse complète, évalué selon le prestige du résultat positif.	Le format Registered Report, évalué et accepté sur protocole avant la collecte empirique effective des données.
Statut Éthique Institutionnel	Classé parmi les Pratiques de Recherche Douteuses (Questionable Research Practices ou QRP), violation de l’intégrité.	Aligné sur les standards internationaux d’intégrité (Code de conduite européen ALLEA, directives UNESCO).
Trajectoire de Carrière	Bénéfices rapides à court terme (publications nombreuses et sensationnelles), mais vulnérabilité future au discrédit.	Investissement initial plus lourd et publications plus lentes, mais robustesse pérenne et réputation scientifique indestructible.

L’analyse détaillée de cette matrice met en lumière une fracture non seulement technique, mais également éthique et juridique. Dans le cadre contemporain de l’intégrité scientifique, formalisé notamment par le Code de conduite européen pour l’intégrité de la recherche de l’ALLEA, le p-hacking a perdu son statut d’indulgence méthodologique pour être formellement catégorisé au rang des Pratiques de Recherche Douteuses (QRP – Questionable Research Practices). Si la falsification pure (fabrication intégrale de faux chiffres) relève de la fraude légale directe passible de sanctions disciplinaires ou de licenciement, le p-hacking produit un dommage épistémique équivalent, voire supérieur par sa nature pandémique, tout en ayant longtemps bénéficié d’une immunité hypocrite due au flou des normes d’écriture académique.

Sur le plan des outils computationnels, la transition de l’un à l’autre modèle reflète une mutation technologique fondamentale. Le p-hacking a trouvé son âge d’or dans l’utilisation de logiciels statistiques commerciaux à menus déroulants de type « pointer-cliquer ». Dans un tel logiciel, l’analyste peut cocher et décocher des cases de test, exclure trois lignes d’un tableau d’un clic de souris, exécuter une dizaine de régressions successives et copier-coller dans son traitement de texte le seul tableau statistique où la valeur de p affiche $0{,}042$, sans qu’aucune trace computationnelle de ces opérations successives ne soit préservée. À l’opposé, la science ouverte s’appuie sur la programmation scriptée intégrale (à l’aide de langages tels que R ou Python) combinée à des outils de contrôle de version (comme Git). Dans cette configuration, chaque transformation de donnée, du nettoyage initial à l’estimation finale, est explicitée dans un script textuel public, permettant à n’importe quel chercheur indépendant de ré-exécuter le code sur les données brutes pour régénérer à l’identique, à la virgule près, l’ensemble des figures et des tableaux de l’article.

Enfin, la dimension des carrières individuelles traduit une dynamique temporelle dissymétrique. À court terme, un chercheur usant de p-hacking maximise son rendement bibliométrique immédiat : en transformant opportunément chaque collecte de données en découverte sensationnelle, il publie plus rapidement, intègre des revues à fort facteur d’impact et s’attire les faveurs d’évaluateurs encore aveugles aux biais méthodologiques. Cependant, cette stratégie expose son auteur à un risque de déclassement professionnel sévère à long terme : à mesure que les équipes du monde entier tentent de répliquer ses travaux et que les outils médico-légaux de détection statistique automatisée scrutent la littérature, la fragilité de ses publications est immanquablement mise au jour. Le praticien de la science ouverte, s’il subit initialement un coût d’entrée technique supérieur et un volume de publications plus modeste, bâtit un portefeuille de résultats dont la pérennité et la réputation de solidité traversent les décennies sans subir l’érosion de la non-reproductibilité.

5. Similitudes, intersections et tensions partagées

5.1 Un même objet d’étude : la manipulation de la donnée

Bien que le p-hacking et la science ouverte s’opposent radicalement dans leur éthique et leurs manifestations, ils partagent un même objet de préoccupation centrale : la malléabilité extrême de la donnée empirique et la reconnaissance lucide du pouvoir déterminant des micro-décisions analytiques. Le défenseur de la science ouverte et le praticien chevronné du p-hacking partagent, au fond, une même intuition technique lucide : ils savent tous deux parfaitement que les données ne « parlent » jamais d’elles-mêmes de manière univoque. Ils ont conscience qu’en modifiant subtilement la définition opérationnelle d’une variable dépendante, en choisissant un estimateur robuste plutôt qu’un estimateur des moindres carrés ordinaires, ou en traitant différemment les valeurs manquantes, la distribution finale des résultats peut basculer d’une conclusion positive éclatante à un néant statistique total.

Cette conscience partagée de la plasticité des résultats empiriques ancre les deux paradigmes dans une vision désillusionnée de la statistique inférentielle moderne. Tous deux récusent, explicitement ou implicitement, la vision naïve de la science positiviste qui postulerait que la collecte d’un échantillon livre une vérité brute incontestable. L’analyste qui recourt au p-hacking exploite cette plasticité à son bénéfice professionnel en façonnant la pâte empirique jusqu’à lui faire épouser la forme désirée ; le chercheur engagé dans la science ouverte, terrifié par cette même plasticité et conscient de ses propres biais cognitifs inconscients, met en place des garde-fous institutionnels et algorithmiques contraignants pour s’empêcher lui-même de céder aux sirènes de cette malléabilité.

De surcroît, il existe une profonde interdépendance historique entre ces deux dynamiques : la science ouverte contemporaine n’est pas née dans un vacuum théorique éthéré, elle s’est précisément structurée, outillée et fédérée en réponse directe au scandale provoqué par la prise de conscience de l’omniprésence du p-hacking. Des affaires retentissantes ayant secoué la communauté internationale au début de la décennie 2010 — comme la publication par une revue prestigieuse d’un article prétendant apporter la preuve statistique de la précognition psychologique (la transmission de pensée rétrograde dans le temps) en usant de techniques d’analyses post-hoc irréprochables en apparence mais grotesques en réalité — ont servi de catalyseur. La formalisation des outils d’Open Science représente ainsi une réponse immunologique de l’institution scientifique contre les pathogènes méthodologiques incarnés par le p-hacking.

5.2 Limites communes et nouvelles vulnérabilités

Il serait cependant trompeur et scientifiquement naïf de dépeindre la science ouverte comme une panacée universelle exempte d’effets pervers ou d’intersections problématiques avec les déviances qu’elle combat. En premier lieu, la science ouverte a vu émerger ses propres formes de détournement méthodologique, dont la plus documentée est le phénomène de « pré-enregistrement opportuniste » ou PARKing (Preregistering After the Results are Known). Des chercheurs peu scrupuleux ou sous pression peuvent très bien explorer informellement un jeu de données déjà collecté, identifier la combinaison analytique précise qui délivre un $p < 0{,}05$, puis rédiger et sceller sur l'OSF un pré-enregistrement antidaté en faisant mine d'avoir conçu cette stratégie d'analyse de manière prospective. De même, la rédaction de protocoles de pré-enregistrement délibérément vagues — employant des formulations ambiguës quant au choix des covariables ou des sous-groupes — permet à des auteurs de revendiquer abusivement le label de scientificité de l'Open Science tout en conservant secrètement leurs degrés de liberté pour p-hacker leurs données au moment de l’analyse finale.

En second lieu, la transition vers les protocoles stricts de la science ouverte impose aux laboratoires une charge cognitive, logistique et administrative considérable. La rédaction d’un plan d’analyse pré-enregistré exhaustif, la structuration méticuleuse d’un jeu de données selon les standards FAIR, la rédaction d’un dictionnaire de variables (codebook) irréprochable et le nettoyage d’un script computationnel pour le rendre ré-exécutable sur n’importe quel système d’exploitation exigent des dizaines, voire des centaines d’heures de travail supplémentaire. Pour de jeunes chercheurs ou des équipes issues de pays ou d’universités sous-financées, cette bureaucratisation procédurale peut se transformer en une barrière à l’entrée insurmontable, risquant de créer une fracture entre une élite académique capable de se conformer aux standards coûteux de l’ouverture et une périphérie condamnée aux pratiques artisanales traditionnelles.

Enfin, l’ouverture intégrale des données ne constitue pas en soi une garantie absolue contre l’erreur statistique ou la surinterprétation abusive. Un jeu de données brutes parfaitement ouvert et téléchargeable peut tout à fait être intrinsèquement vicié par un biais d’échantillonnage massif (biais de sélection), par des instruments de mesure non valides ou par des confusions de causalité flagrantes. De plus, rien n’empêche un chercheur tiers de télécharger un jeu de données en libre accès déposé par une équipe vertueuse pour lui appliquer, à son tour, des techniques forcenées de p-hacking et de dragage de données, générant une nouvelle couche de faux positifs sous le couvert vertueux de la réutilisation de données ouvertes. La transparence technique ne dispense donc jamais la communauté d’une vigilance épistémologique et critique aiguë : elle facilite l’audit, mais elle ne garantit pas la vérité de manière mécanique.

6. Mise en pratique : Arbitrage méthodologique et transition vers la transparence

6.1 Distinguer rigoureusement recherche confirmatoire et recherche exploratoire

Pour dépasser l’impasse méthodologique du p-hacking sans pour autant étouffer le progrès scientifique sous un carcan procédural rigide, la communauté méthodologique s’accorde sur un impératif cardinal : établir une séparation étanche et permanente entre la recherche confirmatoire et la recherche exploratoire. L’erreur épistémologique fondamentale à la racine du p-hacking réside dans la confusion coupable de ces deux modes d’investigation : appliquer la machinerie statistique des tests de signification d’hypothèse nulle (conçue exclusivement pour la confirmation aveugle d’une hypothèse formulée a priori) à une démarche de fouille de données exploratoire, tout en feignant de n’avoir fait qu’exécuter un plan prédéfini.

La recherche exploratoire constitue le poumon de la découverte scientifique : elle autorise l’observation tous azimuts, l’induction libre, le croisement de centaines de variables imprévues et la détection d’anomalies intrigantes au sein d’échantillons complexes. La science ouverte ne cherche nullement à proscrire ou à stigmatiser cette exploration empirique fondamentale ; elle exige uniquement que toute analyse réalisée post-hoc soit explicitement, formellement et honnêtement étiquetée comme telle dans le manuscrit final. Lorsqu’un chercheur fait une découverte inattendue en manipulant ses données après coup, il doit l’écrire noir sur blanc :

« Cette relation n’avait pas été anticipée a priori dans notre protocole ; elle résulte d’une analyse exploratoire post-hoc et doit, par conséquent, être interprétée avec une extrême prudence comme une hypothèse nouvelle à tester dans des recherches confirmatoires ultérieures. »

Pour concrétiser cette séparation sans sacrifier la richesse de l’analyse, plusieurs approches computationnelles de pointe s’offrent aujourd’hui aux laboratoires. L’une des plus élégantes est l’analyse de sensibilité multivers (multiverse analysis), développée notamment par Steegen, Tuerlinckx, Gelman et Vanpaemel (2016), ou l’analyse de courbe de spécification formalisée par Simonsohn, Simmons et Nelson (2020). Au lieu de choisir arbitrairement une seule trajectoire analytique parmi des centaines de configurations possibles (ce qui caractérise le p-hacking) ou de se contraindre à un sentier unique potentiellement sous-optimal, l’analyste programme un script qui exécute l’intégralité des combinaisons analytiques plausibles et défendables (tous les découpages d’outliers possibles, toutes les transformations mathématiques licites, tous les sous-ensembles de covariables pertinents).

Le résultat n’est plus présenté sous la forme d’une unique valeur de p isolée et fragile, mais sous la forme d’une distribution complète de milliers de tailles d’effet et de valeurs de p correspondantes. Le chercheur peut alors affirmer de manière transparente si son effet résiste à travers 95 % de l’espace des modèles envisageables (témoignant d’une robustesse véritable du phénomène), ou si la significativité statistique n’apparaît que dans une poignée d’ajustements idiosyncratiques hautement spécifiques (révélant instantanément un artefact méthodologique issu du hasard). Cette approche transmute la flexibilité analytique, jadis moteur du p-hacking clandestin, en un instrument d’évaluation rigoureux de la robustesse empirique.

6.2 Guide pratique d’implémentation de la science ouverte

Pour une équipe de recherche désireuse d’assainir ses protocoles et d’opérer une transition intégrale vers la science ouverte, l’implémentation pratique doit s’effectuer de manière méthodique à chaque jalon du cycle de vie d’un projet scientifique. Le guide procédural suivant détaille les étapes opérationnelles indispensables pour immuniser un laboratoire contre les tentations et les pièges du p-hacking :

• Phase de Conception et de Design Préliminaire :
  • Rédiger un Plan de Gestion des Données (DMP – Data Management Plan) dès la genèse du projet, anticipant la structure des variables, les formats de fichiers ouverts (.csv, .json plutôt que formats propriétaires de tableurs), ainsi que les autorisations éthiques requises pour le futur partage public des données anonymisées.
  • Conduire une analyse formelle de puissance statistique a priori fondée sur la plus petite taille d’effet scientifiquement ou cliniquement pertinente (Smallest Effect Size of Interest ou SESOI), et non sur les tailles d’effet spectaculaires et gonflées rapportées dans les publications anciennes de la littérature. Éviter à tout prix les échantillons sous-dimensionnés propices aux faux positifs.
• Phase de Formalisation et d’Engagement Pré-expérimental :
  • Rédiger un plan d’analyse statistique complet décrivant par anticipation : la règle stricte d’arrêt de la collecte (taille d’échantillon $N$ fixe ou procédure séquentielle formalisée avec correction mathématique des seuils alpha), les règles exactes d’identification et de rejet des valeurs extrêmes, le traitement des non-réponses et la formule matricielle des modèles d’estimation.
  • Enregistrer ce protocole sur un registre public certifié (ex. le registre OSF ou AsPredicted) en générant une URL pérenne horodatée, ou mieux encore, soumettre le projet sous la forme d’un Registered Report à une revue acceptant ce format.
• Phase de Collecte et de Traitement des Données :
  • Maintenir un cahier de laboratoire électronique ouvert consignant chronologiquement chaque événement inattendu survenant lors du protocole expérimental. Interdiction formelle de regarder les distributions statistiques des tests principaux avant la clôture définitive de la base de données (éviter le regard furtif ou data peeking).
  • Si le protocole n’a pas pu être pré-enregistré avec une précision absolue, recourir à la technique de la partition des données (data splitting) : couper aléatoirement le jeu de données en un sous-ensemble d’exploration (par exemple 40 % de l’échantillon) sur lequel toutes les manipulations et intuitions sont librement testées sans contrainte statistique, et un sous-ensemble de confirmation (les 60 % restants) qui n’est ouvert qu’à la toute fin pour tester formellement les seules hypothèses dégagées de l’exploration.
• Phase de Calcul et de Programmation Analytique :
  • Bannir les logiciels statistiques non scriptés basés sur la souris. Rédiger l’ensemble des procédures sous forme de code informatique commenté au sein d’un document computationnel dynamique (comme un notebook Quarto ou Jupyter).
  • Organiser le projet selon une arborescence standardisée (dossier data/raw pour les données brutes intangibles, dossier data/processed pour les données nettoyées, dossier scripts/ pour le code source, dossier output/ pour les graphiques et tables). Utiliser un système de contrôle de version (Git) garantissant l’historique complet de chaque modification apportée aux algorithmes.
• Phase de Publication et d’Archivage Pérenne :
  • Déposer sur un entrepôt certifié (tel que Zenodo, Figshare ou OSF) l’intégralité du matériel : données brutes dé-identifiées, code de calcul, stimuli et questionnaires, en leur adjoignant un identifiant d’objet numérique pérenne (DOI).
  • Dans le corps de l’article, distinguer visuellement et typographiquement les résultats pré-enregistrés (analyses confirmatoires) des résultats issus de la fouille libre de données (analyses exploratoires), permettant aux lecteurs et évaluateurs de juger chaque résultat selon son statut épistémique légitime.

Ce protocole exige un changement de posture culturelle profond, particulièrement dans l’encadrement des jeunes chercheurs et des doctorants. Les directeurs de thèse et les responsables d’unités doivent cesser d’exiger de leurs étudiants qu’ils rapportent coûte que coûte des « beaux résultats significatifs » pour valider leur année ou décrocher leur diplôme. Valoriser la rigueur d’un script parfaitement reproductible associé à un résultat rigoureusement nul doit devenir le standard d’excellence académique au sein des comités de suivi doctoral, neutralisant à la racine l’angoisse existentielle qui conduit les jeunes scientifiques à céder aux tentations du p-hacking.

7. Foire aux questions scientifiques et pratiques

7.1 Toute analyse de données a posteriori relève-t-elle nécessairement du p-hacking ?

Non, absolument pas. Il est indispensable de dissiper ce contresens méthodologique fréquent : l’exploration des données après leur collecte n’est en rien une déviance épistémique en soi. La découverte de structures inattendues, de corrélations surprenantes ou d’hétérogénéités imprévues constitue le cœur battant de la créativité scientifique depuis les origines de la recherche empirique. Ce qui transforme une analyse a posteriori en p-hacking illégitime n’est pas le fait d’explorer la donnée, mais l’acte de dissimulation qui consiste à présenter ce résultat opportuniste comme s’il s’agissait du test déductif d’une hypothèse formulée a priori, tout en utilisant les seuils nominaux du test fréquentiste ($p < 0{,}05$) sans corriger mathématiquement le risque démultiplié de faux positifs inhérent à l'exploration multiple.

Dès lors qu’une analyse post-hoc est explicitement qualifiée d’« exploratoire » dans le texte de l’article, qu’elle est assortie d’une transparence totale sur le nombre d’autres tests exploratoires tentés en vain, et que ses conclusions ne sont pas présentées comme des preuves définitives mais comme des pistes heuristiques méritant confirmation dans une cohorte indépendante, elle relève de la recherche saine et légitime. De plus, sur le plan purement statistique, les approches d’inférence bayésienne offrent un cadre formel particulièrement robuste pour appréhender ces situations sans céder à la dichotomie réductrice du « significatif / non significatif » propre au NHST. Le calcul de facteurs de Bayes (Bayes Factors) permet de quantifier avec nuance la force de l’évidence en faveur d’un modèle par rapport à un autre, évitant l’écueil artificiel du seuil de 0,05 qui pousse mécaniquement les chercheurs vers le p-hacking.

7.2 La science ouverte élimine-t-elle totalement la fraude et les biais méthodologiques ?

Non, la science ouverte ne constitue pas un remède magique capable d’éradiquer la totalité des fraudes scientifiques ou des dérives méthodologiques. Il convient de distinguer avec rigueur la transparence procédurale de la vérité épistémique d’une conclusion. Une étude peut être parfaitement ouverte — disposant d’un pré-enregistrement minutieux, d’un accès libre à toutes ses données et d’un code informatique parfaitement documenté — tout en reposant sur un fondement méthodologiquement absurde ou biologiquement dénué de sens. La transparence ne garantit pas que le protocole expérimental soit intelligent, que l’instrumentation soit fiable ou que les biais d’échantillonnage n’aient pas faussé la mesure à la source.

De plus, la science ouverte n’empêche pas mécaniquement la fraude criminelle active. Si un investigateur malhonnête décide d’inventer de toutes pièces des valeurs numériques dans son tableur avant de le déposer sur l’OSF, ou s’il falsifie physiquement les mesures de ses automates de laboratoire, le dépôt d’un jeu de données brut ouvert ne fera que rendre publiques des données factices. Toutefois, la rupture fondamentale introduite par la science ouverte réside dans la détection : alors que dans le modèle opaque traditionnel, une telle fraude demeurait invisible et protégée à jamais derrière le paravent de l’article narratif imprimé, l’accès public aux données brutes permet aux experts en médico-légale computationnelle et en méta-science de soumettre les fichiers à des tests de distribution mathématique (tels que la loi de Benford ou la recherche d’anomalies de variance) pour démasquer les incohérences structurelles en quelques heures. La science ouverte n’élimine donc pas l’apparition de la tricherie, mais elle réduit dramatiquement son espérance de vie au sein de la littérature académique.

7.3 Le pré-enregistrement bride-t-il la créativité et la sérendipité scientifique ?

Il s’agit là de la critique la plus récurrente et de la crainte la plus vivement exprimée par les chercheurs formés au modèle classique lorsqu’ils découvrent les protocoles de la science ouverte. Beaucoup imaginent, à tort, que pré-enregistrer une étude équivaut à s’enfermer dans une camisole de force intellectuelle interdisant toute déviation, toute intuition nouvelle et toute découverte fortuite née de la sérendipité — à l’image historique de la découverte accidentelle de la pénicilline par Alexander Fleming observant la contamination inattendue d’une boîte de Pétri par une moisissure. Cette conception procède d’une incompréhension totale des mécanismes réels du pré-enregistrement.

Le pré-enregistrement ne bride en aucune façon l’observation imprévue ni la créativité d’un chercheur face à ses données. Il stipule simplement une règle d’honnêteté élémentaire : le chercheur s’engage sur ce qu’il attendait avant de lancer la machine, puis, une fois l’expérience achevée, il consigne méthodiquement le résultat de son test initial. Si, ce faisant, une observation stupéfiante et totalement imprévue apparaît dans un coin de la matrice de données, le chercheur jouit de la liberté la plus absolue pour y consacrer l’intégralité de sa section de discussion, pour développer de nouveaux modèles descriptifs et pour proposer des théories inédites destinées à expliquer cette anomalie. Tout ce que la science ouverte lui interdit, c’est d’affirmer de manière mensongère : « J’avais prévu cette anomalie depuis le début dans mes hypothèses théoriques déductives, et la valeur de $p = 0{,}03$ obtenue après 15 ajustements prouve de façon définitive que ma théorie est exacte ». Le pré-enregistrement ne tue pas la sérendipité : il protège la sérendipité contre sa falsification opportuniste par le p-hacking.

8. Conclusion : Vers un nouvel horizon épistémologique pour la recherche

8.1 Synthèse de la confrontation conceptuelle

Au terme de cette analyse approfondie, le p-hacking et les pratiques de science ouverte apparaissent non pas comme de simples variantes techniques de l’analyse quantitative, mais comme les incarnations antagonistes de deux philosophies opposées de la science contemporaine. Le p-hacking s’avère être le symptôme pathologique par excellence d’un système de recherche dégénéré, fondé sur l’hyper-compétition individuelle, la fétichisation du résultat spectaculaire unilatéral et l’opacité méthodique des processus. En exploitant sans garde-fous statistiques les degrés de liberté inhérents à l’analyse empirique, ce paradigme a produit une crise systémique de reproductibilité qui a menacé les fondements mêmes de la crédibilité scientifique dans les sociétés démocratiques avancées.

Face à cette dérive, la science ouverte s’affirme comme une réforme méthodologique et institutionnelle majeure. En exigeant la transparence prospective par le pré-enregistrement, la traçabilité intégrale par le partage ouvert des données brutes et des codes exécutables, ainsi que la dissociation de l’évaluation académique de la seule présence d’effets positifs grâce à des formats novateurs comme les Registered Reports, le mouvement de l’Open Science rétablit l’équilibre épistémique fondamental de la recherche. Elle rappelle avec force que la valeur d’une démarche scientifique ne se mesure pas à l’éclat flatteur d’une valeur de p miraculeusement sculptée sous le seuil arbitraire de 0,05, mais à l’intégrité, à la robustesse et à l’auditabilité universelle du cheminement intellectuel et empirique qui a permis d’y aboutir.

8.2 Perspectives d’avenir pour les normes académiques

L’avenir de la recherche scientifique dépendra de la capacité des institutions internationales à parachever la transition vers la science ouverte en s’attaquant à la racine du problème : l’économie des incitations académiques. Tant que les comités de recrutement des universités, les instances d’évaluation des carrières et les jurys d’attribution des subventions publiques jugeront la valeur d’un scientifique au volume brut de ses publications et au facteur d’impact des revues dans lesquelles il signe, la pression structurelle incitant au p-hacking demeurera un puissant attracteur pour les chercheurs vulnérables. Les initiatives mondiales réformant l’évaluation de la recherche, à l’instar de la Déclaration de San Francisco sur l’évaluation de la recherche (DORA) et de l’accord européen de la Coalition for Advancing Research Assessment (CoARA), constituent des pas décisifs vers une culture où la qualité des pratiques ouvertes et la reproductibilité computationnelle primeront enfin sur la métrique mercantile du prestige éditorial.

Dans cette refonte historique, les technologies computationnelles émergentes joueront un rôle d’arbitrage de premier ordre. Le développement d’outils automatisés de vérification statistique — à l’exemple du logiciel statcheck développé pour extraire et recalculer automatiquement des millions de tests statistiques à la recherche d’incohérences internes, ou de modules d’intelligence artificielle dédiés à l’audit systématique de la reproductibilité des codes sources — transformera la détection du p-hacking en un processus continu et automatisé. La science ne peut préserver durablement son autorité légitime dans le débat démocratique qu’à la condition expresse de faire preuve d’une exemplarité méthodologique totale. Choisir la science ouverte contre le p-hacking, c’est refuser de subordonner la quête collective de vérité aux vanités éphémères du rendement bibliométrique pour rendre à l’entreprise scientifique sa dignité de bien commun de l’humanité.

Références

• Gelman, A., & Loken, E. (2014). The statistical crisis in science: Data-dependent analysis—a “garden of forking paths”—explains why many statistically significant comparisons don’t hold up. American Scientist, 102(6), 460-465. https://www.stat.columbia.edu/~gelman/research/unpublished/forking.pdf
• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLOS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
• John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524-532. https://doi.org/10.1177/0956797611430953
• Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196-217. https://doi.org/10.1207/s15327957pspr0203_4
• Lakens, D. (2019). The value of preregistration for psychological science: A conceptual analysis. Psychology of Learning and Motivation, 70, 79-110. https://doi.org/10.1016/bs.plm.2019.03.001
• Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600-2606. https://doi.org/10.1073/pnas.1708274114
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
• Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638-641. https://doi.org/10.1037/0033-2909.86.3.638
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359-1366. https://doi.org/10.1177/0956797611417632
• Simonsohn, U., Simmons, J. P., & Nelson, L. D. (2020). Specification curve analysis. Nature Human Behaviour, 4(11), 1208-1214. https://doi.org/10.1038/s41562-020-0912-z
• Steegen, S., Tuerlinckx, F., Gelman, A., & Vanpaemel, W. (2016). Increasing transparency through a multiverse analysis. Perspectives on Psychological Science, 11(5), 702-712. https://doi.org/10.1177/1745691616658637
• Wasserstein, R. L., & Lazar, N. A. (2016). The ASA’s statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129-133. https://doi.org/10.1080/00031305.2016.1154108
• Wilkinson, M. D., Dumontier, M., Aalbersberg, I. J., Appleton, G., Axton, M., Baak, A., … & Mons, B. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018. https://doi.org/10.1038/sdata.2016.18