Dragage de données : Les pièges du p-hacking

Dans le champ contemporain de la recherche en psychologie et des sciences comportementales, la rigueur de l’inférence causale repose sur une stricte démarcation entre l’exploration inductive et la confirmation d’hypothèses étayées. Le dragage de données, fréquemment désigné sous les termes anglophones de data dredging ou de p-hacking, représente une déviance méthodologique majeure qui sape les fondements probabilistes de la méthode scientifique. En multipliant les analyses rétrospectives à la recherche effrénée de résultats statistiquement significatifs, cette pratique transforme le hasard d’un échantillon particulier en découvertes illusoires, alimentant directement la crise contemporaine de reproductibilité.

Dragage de données (Data Dredging)

1. Définition concise

Le dragage de données (ou pêche aux données) est une pratique méthodologique et statistique consistant à analyser de manière exhaustive et non planifiée de multiples combinaisons de variables au sein d’un jeu de données afin d’y déceler des régularités fortuites présentant un seuil de significativité statistique conventionnel (typiquement p < 0,05), tout en dissimulant le nombre réel d’essais réalisés.

Dans le domaine de la psychologie empirique, cette démarche correspond à tester rétrospectivement une multitude de relations hypothétiques sans cadre déductif préalable, puis à présenter les corrélations ou différences fortuites comme si elles résultaient de la confirmation d’une hypothèse formulée a priori. Cette manipulation rétrospective des hypothèses de recherche trahit le paradigme hypothético-déductif traditionnel.

Au-delà de la simple curiosité exploratoire, le dragage de données devient pernicieux lorsqu’il s’accompagne d’une omission systématique des tests non concluants dans la communication scientifique finale. Cette sélection opportuniste gonfle artificiellement le taux d’erreur de première espèce (α), produisant une abondante littérature psychologique saturée d’effets faussement positifs et incapables d’être répliqués par des équipes de recherche indépendantes.

2. Étymologie et origine linguistique

L’expression française « dragage de données » est un calque métaphorique direct du terme anglais data dredging, apparu dans le jargon statistique et économétrique au cours de la seconde moitié du XXe siècle. Le verbe « draguer », issu du moyen néerlandais draghen ou du vieil anglais dragan (« tirer », « remorquer »), désigne à l’origine l’action d’extirper des sédiments, des boues ou des objets immergés au fond d’un cours d’eau à l’aide d’un engin mécanique appelé drague.

Transposée à la statistique mathématique, la métaphore illustre l’action d’immerger un filet dans une vaste masse d’observations numériques pour en ramener tout ce qui s’y trouve, sans discrimination préalable quant à la nature théorique des éléments capturés. Cette métaphore maritime partage son champ lexical avec l’expression concurrente « pêche aux données » (data fishing), soulignant la quête erratique d’un élément remarquable au sein d’un environnement opaque.

Dans la littérature francophone savante et les manuels de méthodologie expérimentale, l’emprunt direct au néologisme anglo-saxon p-hacking est également omniprésent. Forgé au début des années 2010 par les psychologues quantitatifs Joseph Simmons, Leif Nelson et Uri Simonsohn, le terme incorpore le préfixe informatique hack (bidouiller, détourner, modifier astucieusement un système pour en forcer le fonctionnement) accouplé à la célèbre valeur p (p-value), soulignant le caractère proactif et parfois semi-conscient de la distorsion analytique opérée par le chercheur.

3. Prononciation et forme grammaticale

Sur le plan morphosyntaxique, « dragage de données » est une locution nominale masculine invariable au singulier pour le premier terme, tandis que le complément du nom (« données ») s’emploie traditionnellement au pluriel : [dÊa.Ýaʒ də dɔ.ne]. Son pluriel orthographique régulier est « dragages de données ».

Dans le discours académique français, le terme est employé comme un substantif désignant un processus d’investigation déviant ou un vice d’administration de la preuve : on parlera d’« un recours manifeste au dragage de données » ou du « risque inhérent de dragage de données lors d’analyses exploratoires non déclarées ». Le terme concurrent « p-hacking » ([pe.a.kiη]) est masculin, utilisé comme synonyme fonctionnel désignant plus spécifiquement l’exploitation opportune des degrés de liberté du chercheur pour franchir le seuil fatidique de p < 0,05.

4. Explication conceptuelle détaillée

Pour appréhender la portée épistémologique du dragage de données, il convient d’examiner le socle probabiliste de l’inférence statistique fréquentiste, conceptualisée initialement par Ronald Fisher, Jerzy Neyman et Egon Pearson. Dans ce cadre, la probabilité d’erreur de première espèce (α) est conventionnellement fixée à 5 % (α = 0,05). Cela signifie qu’en formulant une unique hypothèse nulle (H0) formulée à l’avance, le chercheur accepte un risque maximal de 5 % de rejeter H0 par pur accident d’échantillonnage, identifiant ainsi un effet ou une corrélation qui n’existe pas dans la population générale.

Cependant, ce seuil de tolérance n’est valide que pour un unique test statistique isolé ou pour une famille de tests explicitement corrigée. Si un psychologue teste 20 associations indépendantes au sein d’un même jeu de données sans correction préalable, la probabilité globale d’observer au moins un faux positif (connue sous le nom de taux d’erreur par famille de comparaisons, ou family-wise error rate) n’est plus de 5 %, mais bondit à environ 64 % selon la formule : 1 – (1 – α)ⁿ. En testant 100 associations possibles, la certitude statistique d’obtenir au moins une valeur p < 0,05 en l’absence totale de tout effet réel dépasse 99,4 %.

Le dragage de données consiste précisément à exploiter cette inévitabilité stochastique tout en occultant le dénominateur de l’équation. Le chercheur réalise en réalité des dizaines, voire des centaines de modélisations, d’ajustements de sous-groupes, de filtrages de cas aberrants ou de croisements de variables, puis isole l’unique comparaison ayant atteint le seuil canonique de significativité. Il rédige ensuite un compte rendu scientifique présentant ce résultat isolé comme l’aboutissement triomphal d’une démarche théorique univoque.

Cette transgression conceptuelle repose sur la négation de ce que les statisticiens appellent les degrés de liberté du chercheur (researcher degrees of freedom). Tout au long de l’analyse empirique, le chercheur fait face à une infinité d’embranchements analytiques : choix des covariables à inclure dans les régressions, transformation logarithmique ou standardisation des échelles, exclusion discrétionnaire de participants prétendument « inattentifs », ou encore fusion arbitraire de modalités de réponse. L’exploration de ce que le statisticien Andrew Gelman a nommé le « jardin des sentiers qui bifurquent » (garden of forking paths) permet presque invariablement d’aboutir à un résultat statistiquement publiable, quel que soit le niveau de vacuité de la proposition initiale.

Les frontières délimitant le dragage de données d’une saine recherche exploratoire sont avant tout déontologiques et méthodologiques. L’exploration de données n’est aucunement condamnable en soi ; elle constitue un moteur essentiel de la découverte scientifique en générant des conjectures inédites. La faute épistémique survient dès lors que les résultats d’une analyse post hoc inductive sont dissimulés sous les oripeaux d’une confirmation déductive, faussant la valeur probabiliste de la preuve et abusant la communauté des pairs.

5. Évolution historique

La prise de conscience des dérives liées au surajustement statistique remonte aux origines mêmes de la méthodologie contemporaine. Dès les années 1960 et 1970, des pionniers de la statistique comme John Tukey soulignent la nécessité absolue de dissocier formellement l’analyse exploratoire de données (Exploratory Data Analysis, EDA) de l’analyse confirmatoire. Tukey plaidait pour que les hypothèses suggérées par l’exploration d’un premier jeu de données soient rigoureusement testées sur un échantillon neuf et indépendant.

Durant les années 1980 et 1990, des épidémiologistes et économètres dénoncent la multiplication des publications affirmant tour à tour que tel aliment prévient ou cause le cancer, pointant du doigt les analyses de sous-groupes non contrôlées. Le terme data snooping ou data dredging devient un leitmotiv d’avertissement contre les conclusions hâtives tirées de vastes cohortes observationnelles.

Le véritable tournant paradigmatique survient dans les années 2000, catalysé par la publication en 2005 du manifeste retentissant de John Ioannidis, « Why Most Published Research Findings Are False ». Ioannidis y démontre mathématiquement que la majorité des découvertes publiées en biomédecine et en sciences comportementales sont fausses en raison d’échantillons trop réduits, de faibles tailles d’effet réelles, et surtout de la flexibilité démesurée dans la conduite et la déclaration des analyses statistiques.

Au début des années 2010, la psychologie sociale et cognitive traverse un séisme institutionnel qui marque l’avènement officiel de la crise de la reproductibilité. L’élément déclencheur est la parution en 2011 d’un article de Daryl Bem dans le prestigieux Journal of Personality and Social Psychology, prétendant apporter des preuves empiriques de l’existence de la précognition (perception extrasensorielle du futur) à travers une série de neuf expériences conventionnelles. Incapables d’admettre la réalité de phénomènes paranormaux tout en constatant la parfaite conformité apparente des statistiques présentées, les méthodologistes réalisent que les standards usuels de publication sont structurellement perméables à la fabrique de faux positifs.

Quelques mois plus tard, Joseph Simmons, Leif Nelson et Uri Simonsohn publient leur article séminal « False-Positive Psychology ». Les auteurs y prouvent, à grand renfort de simulations informatiques et d’une démonstration empirique absurde (démontrant qu’écouter une chanson pour enfants rajeunit littéralement les auditeurs de plus d’un an), qu’un chercheur exploitant sans scrupule quatre degrés de liberté banals peut élever le taux de faux positifs d’une étude d’un seuil nominal de 5 % à un taux réel supérieur à 60 %. Dès lors, la lutte contre le p-hacking et le dragage de données devient la priorité du mouvement pour la science ouverte (Open Science Framework).

6. Fondements théoriques

Sur le plan épistémologique, le dragage de données entre en conflit frontal avec le falsificationnisme de Karl Popper. Dans l’architecture poppérienne de la science, une théorie ne gagne en robustesse que si elle se prête à des tentatives délibérées et impitoyables de réfutation au moyen de prédictions risquées formulées en amont. Le dragage de données renverse cette logique : au lieu de soumettre une hypothèse préalable au tribunal de l’empirie, le chercheur sélectionne l’hypothèse qui s’accorde miraculeusement avec les bruits aléatoires de l’échantillon. Ce procédé constitue une circularité herméneutique qui immunise le chercheur contre l’échec tout en annulant la valeur de confirmation de l’étude.

Le phénomène s’enracine également dans le modèle des incitations perverses théorisé par l’économie des sciences et formulé par la loi de Goodhart : « Lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure. » Dans le milieu académique, la survie professionnelle des chercheurs est conditionnée par l’adage « publier ou périr » (publish or perish). Les comités de rédaction des revues à fort impact ayant historiquement privilégié les résultats spectaculaires, novateurs et statistiquement significatifs (rejetant les études aux résultats nuls dans les tiroirs métaphoriques de la science), le chercheur est soumis à une pression sélective l’incitant à draguer ses données jusqu’à ce qu’un signal significatif apparaisse.

D’un point de vue cognitif, le dragage de données n’est pas toujours le fruit d’une fraude consciente ou malveillante, mais résulte souvent de biais psychologiques universels décrits par la psychologie cognitive. Le premier est le biais de confirmation : le chercheur est intimement convaincu de la véracité de sa théorie psychologique. Lorsqu’une première analyse statistique échoue à révéler l’effet attendu, il n’attribue pas cet échec à la fausseté de son hypothèse, mais à un prétendu « bruit » méthodologique qu’il estime nécessaire de corriger (en écartant des observations déviantes ou en changeant de test).

À cela s’ajoute le biais rétrospectif (hindsight bias) et le phénomène identifié par Norbert Kerr sous l’acronyme HARKing (Hypothesizing After the Results are Known). Après avoir dragué un jeu de données et décelé une interaction totalement inattendue entre trois variables démographiques, le chercheur reconstruit mentalement son raisonnement pour se convaincre que cette corrélation était hautement prévisible au vu de la littérature, réécrivant la section théorique de son manuscrit pour faire passer une trouvaille fortuite pour une déduction magistrale.

7. Composantes clés, types et dimensions

Le dragage de données ne constitue pas un acte unitaire, mais un spectre polymorphe de manipulations méthodologiques et analytiques. On peut en répertorier les dimensions dominantes au sein des sciences psychologiques :

• Arrêt opportuniste de la collecte de données (optional stopping) : Action d’analyser périodiquement les données au cours des passations expérimentales et d’interrompre immédiatement la collecte dès que le seuil de p < 0,05 est franchi, ou au contraire de continuer à ajouter des sujets tant que le résultat stagne à des valeurs marginales (ex. p = 0,08).
• Multiplication des variables dépendantes et sélection orientée : Mesure de dix échelles psychologiques différentes dans une tâche expérimentale, puis rédaction d’un article ne mentionnant que l’unique échelle ayant réagi de façon significative au traitement expérimental, en passant les neuf autres sous silence.
• Manipulation discrétionnaire des covariables : Inclusion ou exclusion sélective de variables de contrôle (âge, sexe, statut socio-économique, anxiété-trait) dans des modèles de régression multiple ou des ANCOVA jusqu’à trouver la combinaison qui maximise l’effet de la variable indépendante principale.
• Découpage arbitraire de sous-groupes (subgroup analysis) : Lorsque l’effet principal s’avère non significatif dans la population totale étudiée, découpage non planifié de l’échantillon en multiples sous-populations (par tranche d’âge, genre, niveau d’études) jusqu’à identifier un sous-ensemble où la relation mathématique atteint le seuil requis.
• Dichotomisation opportuniste de variables continues : Transformation arbitraire d’une variable quantitative en variable binaire (par division à la médiane ou par seuils d’optimisation numérique) afin de forcer l’émergence d’une différence de moyennes artificielle.
• Élagage sélectif des valeurs aberrantes (selective outlier removal) : Utilisation de critères d’exclusion d’observations extrêmes flexibles et modulés ad hoc, dans le but explicite de faire basculer une valeur p sous le seuil critique conventionnel.
• Modification des modalités de conditions expérimentales : Regroupement ou suppression opportuniste de bras de traitement expérimental dans un protocole à facteurs multiples sans justification préétablie.

8. Exemples et cas illustratifs

Un cas d’école emblématique permet de matérialiser la dérive du dragage de données dans la recherche psychologique appliquée. Imaginons une équipe de chercheurs étudiant l’impact d’un entraînement cognitif informatisé (brain training) sur les facultés intellectuelles d’adolescents scolarisés. L’équipe recrute 100 participants assignés soit au logiciel cognitif, soit à un groupe contrôle jouant à un jeu vidéo neutre.

Les chercheurs administrent une batterie d’évaluation comprenant la mémoire de travail, le raisonnement fluide, la mémoire spatiale, la vitesse de traitement, le contrôle inhibiteur, l’attention soutenue, ainsi que des mesures d’anxiété scolaire et d’estime de soi. À l’issue des tests d’hypothèses primaires, aucune différence significative n’apparaît entre le groupe d’entraînement et le groupe contrôle sur les scores d’intelligence globale (p = 0,42).

Face à ce résultat nul difficilement valorisable pour l’obtention de nouveaux financements, les chercheurs entament un dragage méthodique des données :

• Ils comparent les garçons et les filles séparément : le test demeure non significatif chez les filles (p = 0,68), mais affiche p = 0,09 chez les garçons.
• Ils décident d’exclure trois participants masculins sous prétexte d’un temps de réaction jugé aberrant lors d’une session : la valeur p tombe à 0,06.
• Ils intègrent le niveau socio-économique des parents et la consommation quotidienne d’écrans comme covariables dans une analyse de covariance : la valeur p pour la mémoire spatiale chez les garçons devient soudainement p = 0,038.

L’article final envoyé pour publication portera le titre : « L’efficacité ciblée de l’entraînement cognitif sur la mémoire visuo-spatiale chez les jeunes garçons : une étude contrôlée ». Les auteurs omettront délibérément de préciser qu’ils ont évalué huit fonctions cognitives différentes, qu’ils n’avaient aucune hypothèse initiale liée au sexe biologique, et que le résultat n’apparaît qu’au prix d’une purge sélective d’observations et d’un ajustement statistique multivarié non planifié. Le public et les praticiens de l’éducation recevront ainsi l’affirmation trompeuse qu’une intervention informatique prouve son efficacité sur les fonctions spatiales des adolescents.

9. Mesure et évaluation

La quantification du dragage de données au sein d’un article individuel ou d’un corpus entier de publications a longtemps constitué un défi majeur en raison de l’invisibilité des démarches non publiées. Toutefois, la méta-recherche statistique a développé des outils sophistiqués pour détecter indirectement les empreintes laissées par ces pratiques.

L’outil le plus influent est la courbe p (p-curve analysis), développée par Uri Simonsohn, Leif Nelson et Joseph Simmons. Cette technique consiste à tracer la distribution des valeurs p significatives (c’est-à-dire celles comprises strictement entre 0,00 et 0,05) rapportées dans une série d’études portant sur un même phénomène. Selon les lois de la puissance statistique :

• Lorsqu’un effet réel et robuste existe, la distribution des valeurs p doit être fortement inclinée vers la droite, présentant une densité maximale près de 0,01 et très peu de valeurs proches de 0,05.
• Lorsque l’hypothèse nulle est vraie et qu’aucun effet n’existe dans la réalité, la distribution des valeurs p sous H0 est théoriquement uniforme (plane entre 0,00 et 0,05).
• En présence de dragage de données ou de p-hacking intensif, la distribution affiche une anomalie frappante : une courbe asymétrique marquée par une surreprésentation suspecte de valeurs se situant tout juste sous le seuil d’acceptation académique (notamment entre 0,04 et 0,049). Les chercheurs cessent leurs manipulations analytiques dès lors que le seuil de significativité est tout juste franchi, laissant une trace statistique indélébile dans les méta-analyses.

Un autre instrument de diagnostic diagnostique est l’algorithme statcheck, conçu par Michèle Nuijten et ses collègues. Cet outil automatisé extrait les résultats de tests statistiques (t, F, χ², r) et leurs degrés de liberté respectifs à partir des fichiers PDF ou de textes bruts, recalcule la valeur p exacte correspondante, et signale les incohérences mathématiques entre la statistique de test déclarée et la probabilité rapportée. Les analyses massives menées par statcheck sur des dizaines de milliers d’articles de psychologie ont révélé que les erreurs de calcul favorisent de manière écrasante l’affirmation indue d’une significativité statistique.

10. Applications et portée pratique

Les conséquences du dragage de données dépassent largement les querelles d’experts universitaires ; elles s’étendent aux politiques publiques, à la clinique psychiatrique, à la neuropsychologie et aux pratiques managériales.

En psychologie clinique et en psychiatrie biologique, le dragage de données dans les études d’association pangénomique (GWAS) des années 1990 et 2000 a conduit à l’affirmation trompeuse que certains gènes candidats isolés (comme le polymorphisme du transporteur de la sérotonine 5-HTTLPR) déterminaient la vulnérabilité individuelle à la dépression majeure face aux événements de vie stressants. Des centaines d’articles ont été publiés sur cette interaction supposée gène-environnement, mobilisant des millions d’euros de financements publics, avant que de vastes consortiums méthodologiquement blindés ne révèlent que l’effet initialement célébré n’était qu’un produit typique de la pêche aux données sur de petits échantillons.

Dans le domaine des organisations et de la gestion des ressources humaines, le recours à des batteries d’évaluation de la personnalité sans plan d’analyse préétabli expose les entreprises à adopter des programmes de formation ou des filtres d’embauche fondés sur des chimères statistiques. Lorsqu’un cabinet de conseil teste des dizaines d’indicateurs comportementaux face à la performance de vente d’un échantillon restreint de salariés, les corrélations significatives qui émergent résultent généralement d’un dragage inconscient. Leur généralisation future se solde par une inefficacité coûteuse et des discriminations à l’embauche fondées sur des prédicteurs fictifs.

11. Recherche et données empiriques

La fréquence réelle du dragage de données au sein des sciences humaines et sociales a fait l’objet d’enquêtes empiriques révélatrices au cours de la dernière décennie. Dans une étude devenue célèbre menée auprès de plus de 2 000 psychologues américains, Leslie John, George Loewenstein et Drazen Prelec (2012) ont employé une méthodologie d’estimation probabiliste garantissant l’anonymat pour sonder l’admission des « pratiques de recherche discutables » (Questionable Research Practices, QRPs) :

• 63 % des psychologues interrogés ont admis avoir déjà décidé de poursuivre la collecte de données après avoir vérifié si les résultats étaient significatifs.
• 67 % ont reconnu ne pas avoir rapporté l’ensemble des mesures dépendantes évaluées dans leurs protocoles.
• 50 % ont admis n’avoir rapporté que les conditions expérimentales ayant produit un résultat concluant.
• 35 % ont reconnu avoir présenté une découverte fortuite ou inattendue comme ayant été initialement prédite dès la conception de l’étude (HARKing).

Une enquête similaire conduite en Italie par Agnoli et collaborateurs (2016), puis d’autres réplications à l’échelle européenne, ont confirmé que ces conduites étaient perçues par une part substantielle de la communauté académique non pas comme des fraudes graves, mais comme des « ajustements d’usage » inoffensifs nécessaires pour rendre les manuscrits attractifs aux yeux des évaluateurs.

L’impact cumulé de ce dragage systémique a été documenté avec éclat par le projet de reproductibilité mené par le Center for Open Science sous la direction de Brian Nosek (2015). En tentant de reproduire rigoureusement 100 expériences majeures publiées dans trois des plus grandes revues internationales de psychologie, le consortium a découvert que si 97 % des études originales affichaient des résultats statistiquement significatifs, seulement 36 % des réplications ont produit des résultats significatifs avec des tailles d’effet en moyenne réduites de moitié par rapport aux affirmations princeps.

12. Considérations culturelles et transdisciplinaires

Bien que le dragage de données soit un phénomène universellement ancré dans l’architecture probabiliste de l’inférence moderne, son expression varie selon les cultures institutionnelles et les disciplines scientifiques.

En neurosciences cognitives, l’imagerie par résonance magnétique fonctionnelle (IRMf) a représenté un terreau fertile pour le dragage de données en raison de l’immensité de l’espace analytique : le cerveau humain est modélisé sous la forme de plus de cent mille petits cubes tridimensionnels appelés voxels. Dans une étude devenue culte pour sa portée satirique et didactique, Craig Bennett et ses collègues (2009) ont glissé un saumon de l’Atlantique mort dans un scanner IRMf et lui ont présenté des photographies humaines représentant diverses émotions en lui demandant de déterminer l’état affectif des individus. En appliquant les procédures de traitement d’images standard sans correction rigoureuse pour les comparaisons multiples, les auteurs ont détecté des foyers d’activité neuronale statistiquement significatifs (p < 0,001) dans le cerveau du poisson décédé, démontrant par l’absurde que le dragage non régulé de voxels génère spontanément du sens au milieu du vide le plus absolu.

Dans les sciences biomédicales et la psychopharmacologie, la régulation culturelle et juridique du dragage de données s’est avérée plus précoce qu’en sciences humaines pures. L’obligation légale imposée par les autorités sanitaires (telles que la FDA américaine ou l’EMA européenne) d’enregistrer préalablement l’ensemble des essais cliniques sur des registres publics (comme ClinicalTrials.gov) a fortement jugulé la liberté rétrospective des promoteurs d’essais médicamenteux de modifier arbitrairement les critères d’évaluation en cours de route.

13. Critiques, controverses et limites

L’opprobre jeté sur le dragage de données a suscité des débats méthodologiques substantiels sur la place légitime de l’induction et de la sérendipité dans le processus scientifique. Certains épistémologues et statisticiens mettent en garde contre une diabolisation excessive de l’exploration de données, arguant qu’une sacralisation aveugle des protocoles préenregistrés risquerait de stériliser l’intuition du chercheur.

Des penseurs des méthodes soutiennent que les découvertes les plus révolutionnaires de l’histoire des sciences comportementales ont souvent émergé d’anomalies imprévues repérées par hasard lors de l’examen de tables de chiffres bruts. Interdire catégoriquement l’analyse exploratoire reviendrait à jeter le bébé avec l’eau du bain ; l’enjeu épistémologique n’est pas d’interdire le dragage des données en phase de genèse d’hypothèses, mais d’interdire son camouflage en démonstration confirmatoire.

Par ailleurs, la critique porte également sur la focalisation obsessionnelle sur la seule valeur p. Des théoriciens bayésiens soulignent que le concept même de dragage de données est exacerbé par le rituel du seuil dichotomique (significatif versus non significatif) propre à l’école fréquentiste. Dans le cadre de l’inférence bayésienne, où les données observées servent à mettre à jour une distribution de probabilités a priori via le facteur de Bayes, la dichotomie rigide s’estompe, permettant une pondération plus nuancée des preuves sans fétichisme du seuil de 0,05.

14. Termes connexes et distinctions

Le vocabulaire de la métaméthodologie comprend plusieurs concepts proches dont il importe de cerner les frontières conceptuelles :

• P-hacking : Terme quasi synonyme de dragage de données, mais insistant davantage sur la boîte à outils manipulatoire et la flexibilité discrétionnaire mobilisée par le chercheur au moment du traitement statistique direct.
• HARKing (Hypothesizing After the Results are Known) : Pratique d’écriture narrative consistant à présenter une hypothèse suggérée par les données rétrospectives comme s’il s’agissait d’une prédiction théorique formulée a priori. Le HARKing est souvent la seconde étape logique qui succède au dragage de données.
• Biais de publication (Publication bias ou File drawer problem) : Tendance des éditeurs et comités de lecture à publier préférentiellement les études aux résultats significatifs. Alors que le dragage de données s’opère au sein même d’un jeu de données pour forcer un résultat positif, le biais de publication opère au niveau de la littérature globale en enfouissant les études honnêtement négatives.
• Surajustement (Overfitting) : En modélisation prédictive et en apprentissage automatique, désignation technique d’un modèle qui colle de façon trop étroite aux bruits et idiosyncrasies d’un échantillon d’apprentissage, perdant toute capacité de généralisation à de nouvelles données. Le dragage de données est l’analogue cognitif et statistique du surajustement dans les sciences empiriques classiques.
• Analyse exploratoire de données : Démarche méthodologique saine, transparente et revendiquée, visant à observer les tendances, distributions et structures d’un jeu de données afin d’échafauder de nouvelles pistes de recherche, à la condition expresse qu’elle soit explicitement qualifiée comme telle.

15. Synthèse et points clés à retenir

Le dragage de données constitue l’une des pathologies méthodologiques les plus insidieuses des sciences empiriques contemporaines. En détournant les outils de la statistique fréquentiste, il produit l’illusion de régularités comportementales robustes là où il n’y a que le fruit contingent du hasard statistique.

Pour assainir les pratiques et restaurer la crédibilité des publications en psychologie, le mouvement scientifique international déploie désormais des contre-mesures structurelles :

• Le préenregistrement d’études (preregistration) : Dépôt officiel et horodaté sur une plateforme publique (telle que l’Open Science Framework) des hypothèses, des plans d’échantillonnage, des critères d’exclusion et des scripts d’analyse avant même le début de la récolte des données, empêchant toute bifurcation analytique rétrospective non déclarée.
• Les rapports enregistrés (Registered Reports) : Format de publication où le protocole expérimental et le rationnel théorique sont examinés par les pairs et acceptés pour publication avant que l’expérience ne soit réalisée, garantissant la parution du manuscrit indépendamment de la significativité statistique finale des résultats.
• Le partage ouvert des données et du code (Open Data & Open Code) : Mise à disposition des matrices de données brutes et des scripts d’analyse (R, Python, syntaxe SPSS) permettant un audit transparent et une reproductibilité computationnelle immédiate par tout chercheur tiers.

Références

• Bennett, C. M., Miller, M. B., & Wolford, G. L. (2009). Neural correlates of interspecies perspective taking in the post-mortem Atlantic Salmon: An argument for multiple comparisons correction. NeuroImage, 47, S125. https://doi.org/10.1016/S1053-8119(09)71202-9
• Gelman, A., & Loken, E. (2014). The statistical crisis in science: How multiple paths for each analysis undermine interpretation of the p-value. American Scientist, 102(6), 460-465. https://www.americanscientist.org/article/the-statistical-crisis-in-science
• Ioannidis, J. P. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
• John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524-532. https://doi.org/10.1177/0956797611430953
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359-1366. https://doi.org/10.1177/0956797611417632
• Simonsohn, U., Nelson, L. D., & Simmons, J. P. (2014). P-curve: A key to the file-drawer. Journal of Experimental Psychology: General, 143(2), 534-547. https://doi.org/10.1037/a0033242