Data snooping : l’illusion statistique

Dans le champ de la psychologie scientifique et de l’analyse quantitative des comportements, l’intégrité de la démarche empirique repose sur une frontière méthodologique fondamentale entre l’exploration descriptive des faits et la confirmation formelle d’hypothèses théoriques. Lorsque les chercheurs parcourent des ensembles volumineux de données à la recherche de régularités sans cadre déductif préalable, tout en appliquant a posteriori les canons de l’inférence statistique classique, ils s’exposent à un artefact redoutable nommé l’espionnage statistique de données. Cette pratique insidieuse engendre l’illusion de découvertes authentiques en transformant le bruit stochastique en pseudo-effets psychologiques hautement significatifs, menaçant ainsi directement la robustesse cumulative des connaissances scientifiques.

Le Data Snooping en psychologie et sciences du comportement

1. Définition concise

Le data snooping, fréquemment traduit en français par les expressions fouille de données abusive, dragage de données ou espionnage statistique de données, désigne la pratique méthodologiquement fallacieuse consistant à examiner de multiples relations au sein d’un jeu de données sans hypothèse formulée a priori, puis à sélectionner et présenter uniquement les résultats qui atteignent un seuil de signification statistique conventionnel comme s’ils confirmaient une prédiction théorique initiale. Cette approche viole les hypothèses probabilistes fondamentales sur lesquelles repose le test d’hypothèse nulle en masquant la multiplicité des comparaisons effectuées.

Dans le contexte des sciences psychologiques, le data snooping se manifeste lorsqu’un chercheur teste un grand nombre d’associations potentielles entre des variables de personnalité, des mesures comportementales, des marqueurs neurophysiologiques ou des conditions expérimentales, pour ne rapporter par la suite que les associations fortuites atteignant le seuil de significativité nominal (usuellement p inférieur à 0,05). Cette démarche confère indûment le statut de confirmation théorique à des corrélations purement stochastiques.

Sur le plan épistémologique, le data snooping correspond à une confusion méthodologique grave entre la phase heuristique de découverte ou de génération d’hypothèses et la phase déductive de corroboration empirique. En dissimulant le processus itératif et opportuniste d’analyse ayant conduit au résultat rapporté, cette pratique invalide le calcul des probabilités conditionnelles régissant l’erreur de type I et gonfle artificiellement le taux de faux positifs dans la littérature scientifique publiée.

2. Étymologie et origine linguistique

L’expression anglo-saxonne data snooping est issue de la concaténation de deux termes aux racines distinctes. Le vocable data provient du latin datum, participe passé neutre du verbe dare signifiant « donner » ; au pluriel, les data désignent les « choses accordées », les « éléments donnés » ou les bases factuelles admises pour établir un raisonnement déductif ou descriptif. Le terme a intégré la langue anglaise au XVIIe siècle avant d’évoluer vers sa signification moderne relative aux informations numériques brutes collectées au cours d’une observation.

Le verbe anglais snoop trouve pour sa part son origine linguistique dans le néerlandais snoepen, qui signifiait initialement grignoter des douceurs en cachette, puis fureter furtivement dans les réserves alimentaires. Emprunté par l’anglais américain au cours du premier tiers du XIXe siècle, to snoop a rapidement acquis le sens métaphorique de fureter, fouiner, espionner ou s’immiscer sans droit dans des affaires privées ou des contextes dissimulés. Dans la littérature économétrique et statistique des années 1960 et 1970, l’association data snooping est apparue pour fustiger l’habitude de « fouiner » indûment dans des banques de séries temporelles ou des matrices corrélationnelles jusqu’à ce qu’un résultat commercialement ou théoriquement avantageux émerge spontanément.

En langue française académique, plusieurs équivalents coexistent selon les disciplines et les traditions pédagogiques. Si l’anglicisme data snooping demeure couramment usité dans les séminaires de méthodologie quantitative avancée, les commissions de terminologie et les manuels de psychométrie francophones préconisent l’emploi de dragage de données (souvent confondu avec le terme connexe data dredging), de pêche aux données (analogue à data fishing) ou plus précisément de fouille opportuniste de données. Le terme conserve dans tous les cas une connotation péjorative évidente, renvoyant à une intrusion clandestine qui rompt la neutralité de l’observateur face à son matériau empirique.

3. Prononciation et forme grammaticale

Sur le plan phonétique, l’expression d’origine anglaise s’articule sous la transcription de l’Alphabet Phonétique International (API) /ˈdeɪtə ˈsnuːpɪŋ/ ou /ˈdɑːtə ˈsnuːpɪŋ/ dans le monde anglo-saxon. Lorsqu’elle est mobilisée par des locuteurs francophones au sein du discours académique, elle subit une francisation partielle et se prononce généralement [da.ta snu.piŋ]. La consonne occlusive dentale voisée /d/ et la consonne nasale vélaire finale /ŋ/ tendent à s’intégrer aux habitudes articulatoires du français savant.

D’un point de vue morphosyntaxique, data snooping est un syntagme nominal composé agissant comme un substantif masculin invariable en français (par exemple : « le data snooping fragilise les conclusions »). En tant que nom massif (indénombrable), il ne prend généralement pas la marque du pluriel dans les écrits académiques rédigés en français. Lorsqu’il est décliné sous ses formes équivalentes françaises, on emploie les locutions nominales féminines « la fouille abusive de données », « la pêche aux données » ou masculine « le dragage statistique ».

Dans le discours méthodologique, le terme opère fréquemment comme modificateur épithète ou adjectival au sein de syntagmes coordonnés, à l’instar du « biais de data snooping » (data snooping bias) ou des « artefacts liés au snooping ». L’usage exige que le chercheur distingue soigneusement ce concept passif ou actif des méthodes légitimes de l’analyse exploratoire des données (Exploratory Data Analysis), en précisant expressément la nature répréhensible ou biaisée de la démarche lorsqu’il est mobilisé dans une évaluation par les pairs ou une réplication de protocole.

4. Explication conceptuelle détaillée

Pour appréhender la mécanique du data snooping en psychologie, il est indispensable de revenir aux postulats fondamentaux du test statistique fondé sur la valeur p (p-value) développée par Ronald Fisher et formalisée dans le cadre décisionnel de Jerzy Neyman et Egon Pearson. Dans un schéma hypothético-déductif standard, le chercheur formule une hypothèse théorique avant d’observer les données, en déduit une conséquence testable, fixe un seuil d’erreur alpha (généralement établi à 0,05), puis recueille un échantillon indépendant afin de déterminer si les observations contredisent l’hypothèse nulle d’absence de différence ou de relation. Ce seuil nominal de 5 % stipule qu’en l’absence totale de tout effet réel dans la population parente, il ne subsiste qu’une chance sur vingt d’observer un résultat aussi ou plus extrême par pure fluctuation d’échantillonnage.

Le data snooping opère une subversion radicale de cette mécanique probabiliste élémentaire. Si un investigateur analyse un jeu de données contenant 100 variables psychologiques distinctes et teste l’ensemble des corrélations bivariées potentielles sans hypothèse préétablie, il examine environ 4 950 coefficients de corrélation. En vertu des seules lois du hasard, environ 5 % de ces tests — soit près de 247 associations — se révéleront statistiquement significatifs au seuil de p inférieur à 0,05, alors même qu’aucune relation fonctionnelle ou causale ne sous-tend la dynamique sous-jacente des variables. Le data snooping consiste précisément à ignorer délibérément ou inconsciemment les 4 703 tests non concluants pour isoler, théoriser et soumettre à publication une sélection de ces 247 artefacts statistiques sous les oripeaux d’une découverte empirique rigoureusement confirmée.

Cette pratique engendre ce que les statisticiens désignent sous le nom d’« inflation de l’erreur globale de type I » (ou taux d’erreur par famille de tests). Lorsque k tests d’hypothèses indépendants sont réalisés au seuil alpha unitaire, la probabilité α_globale d’obtenir au moins un faux positif s’exprime formellement par la formule d’indépendance probabiliste :

α_globale = 1 – (1 – α)^k

Dès lors que k atteint seulement 20 tests d’hypothèses mutuellement non dépendants, la probabilité d’observer au moins un résultat artificiellement significatif sans la moindre réalité empirique culmine déjà à plus de 64 % :

1 – (1 – 0,05)^20 = 1 – (0,95)^20 ≈ 1 – 0,3585 = 0,6415 (soit 64,15 %)

En poursuivant l’exploration jusqu’à 50 comparaisons, cette probabilité s’élève à 92,3 %, transformant l’obtention d’un résultat dit significatif en une quasi-certitude mathématique, déconnectée de la vérité du phénomène psychologique étudié.

Les frontières du data snooping s’étendent au-delà de la simple multiplication compulsive des tests bivariés. Elles englobent des manipulations plus subtiles regroupées sous le concept méthodologique de « flexibilité du chercheur » (ou degrés de liberté du chercheur). Parmi ces tactiques figurent l’analyse séquentielle clandestine (interrompre l’acquisition des participants dès que le seuil p passe sous la barre des 0,05, ou au contraire continuer d’échantillonner si le résultat frôle le seuil), le découpage ad hoc de variables continues en sous-groupes dichotomiques ou polytomiques (médianes arbitraires, tertiles), l’inclusion ou l’éviction rétrospective de covariables statistiques, le tri orienté des valeurs aberrantes (outliers) et la transformation non motivée des variables dépendantes jusqu’à satisfaction de l’objectif de publication.

5. Évolution historique

La prise de conscience du problème méthodologique posé par l’exploration abusive des données s’est développée parallèlement aux progrès de la puissance de calcul statistique tout au long du XXe siècle. Dès les années 1950, des statisticiens pionniers de l’analyse multivariée et des comparaisons multiples, notamment John Tukey, Henry Scheffé et David Duncan, ont alerté la communauté académique sur les distorsions inhérentes à l’examen a posteriori des contrastes entre moyennes empiriques. Tukey a particulièrement insisté sur la nécessité de distinguer de manière étanche l’analyse exploratoire des données, dont l’ambition est d’engendrer des conjectures fécondes par le biais de visualisations et d’indices récapitulatifs, de l’analyse confirmatoire, seule habilitée à statuer sur la validité des hypothèses formulées au moyen de contrôles inférentiels rigoureux.

Durant les décennies 1970 et 1980, le recours massif aux calculateurs électroniques et aux premiers logiciels de traitement statistique (comme SPSS ou SAS) a démultiplié la facilité avec laquelle les chercheurs en sciences sociales pouvaient soumettre des banques de données à des centaines de régressions multiples, d’analyses factorielles et de croisements bivariés en quelques secondes. C’est durant cette période que le concept de data snooping s’est imposé dans la littérature financière et économétrique, notamment sous la plume de chercheurs comme Halbert White, qui ont démontré de manière éclatante comment des règles de négociation boursière prétendument infaillibles n’étaient que de purs mirages résultant du surajustement statistique sur des données historiques archivées.

Au début du XXIe siècle, la psychologie scientifique a fait face à un séisme épistémologique majeur qui a propulsé le data snooping au cœur des débats sur l’intégrité de la recherche. L’année 2011 a marqué un tournant décisif avec la parution de deux publications retentissantes. D’une part, l’article fondateur de Joseph Simmons, Leif Nelson et Uri Simonsohn, intitulé « False-Positive Psychology », a démontré expérimentalement comment l’utilisation non déclarée de degrés de liberté méthodologiques — forme sophistiquée de data snooping — pouvait amener les données à étayer des affirmations manifestement absurdes (telle que l’idée qu’écouter une chanson donnée pouvait rajeunir chronologiquement les participants) tout en conservant une valeur p inférieure à 0,05. D’autre part, la publication par Daryl Bem d’une série d’expériences suggérant l’existence de perceptions précognitives chez des étudiants a révélé les failles massives de protocoles basés sur des analyses exploratoires rétrospectivement déguisées en confirmations théoriques.

Ces crises successives ont abouti à ce que l’histoire des sciences nomme désormais la crise de la reproductibilité. Sous l’impulsion de méthodologistes contemporains tels que Brian Nosek, John Ioannidis, Eric-Jan Wagenmakers et Daniël Lakens, le data snooping a cessé d’être considéré comme une simple maladresse de calcul pour être appréhendé comme une distorsion structurelle de l’écosystème de la publication académique. Cette prise de conscience a donné naissance au mouvement de la science ouverte (Open Science), dont les protocoles de pré-enregistrement visent expressément à immuniser la recherche comportementale contre les ravages de l’opportunisme analytique.

6. Fondements théoriques

Les fondements théoriques expliquant l’émergence et la persistance du data snooping s’enracinent à la fois dans la théorie des probabilités, l’épistémologie critique et la psychologie cognitive du chercheur. Sur le plan purement probabiliste, le phénomène découle de la nature asymétrique de l’inférence fréquentiste. Dans le cadre théorique standard, les propriétés des tests statistiques ne sont valides que sous l’hypothèse stricte d’un plan d’échantillonnage préétabli, exécuté une seule fois sans adaptation opportuniste en cours de route. Dès lors que les données collectées dictent le choix des analyses ultérieures, la distribution d’échantillonnage de la statistique de test sous l’hypothèse nulle est profondément altérée : les valeurs extrêmes deviennent structurellement surreprésentées, ce qui dénature la calibration mathématique des intervalles de confiance et des seuils critiques.

Sur le plan épistémologique, le data snooping matérialise l’impasse dénoncée par Karl Popper concernant la vérificationnisme naïf et les « hypothèses ad hoc ». Popper a vigoureusement souligné qu’une théorie n’acquiert de valeur scientifique que si elle prend le risque d’être falsifiée par des tests sévères conçus en amont de l’expérience. Ajuster une hypothèse ou sélectionner des variables après avoir pris connaissance des motifs empiriques revient à construire une tautologie maquillée en découverte déductive. Le philosophe des sciences Richard Feynman a illustré ce non-sens conceptuel à travers une célèbre métaphore : s’extasier sur la probabilité infinitésimale qu’une plaque d’immatriculation observée dans la rue porte précisément les lettres « ARW 357 » n’a aucun sens statistique rétrospectivement, car n’importe quelle séquence arbitraire possède exactement la même probabilité a priori d’apparaître.

Sur le plan de la psychologie cognitive et comportementale, le data snooping est puissamment entretenu par des biais métacognitifs universels chez les chercheurs eux-mêmes. Le biais de confirmation incline tout scientifique à privilégier, remarquer et mémoriser les analyses statistiques qui corroborent ses intuitions théoriques préalables, tout en le poussant à disqualifier comme « anomalies méthodologiques » ou « artefacts de mesure » les tests qui infirment son modèle. À cela s’ajoute l’apophénie — la propension innée du cerveau humain à percevoir des motifs cohérents et des corrélations structurées au sein d’environnements stochastiques aléatoires — ainsi que le biais rétrospectif (hindsight bias), qui fait paraître évidente, plausible et prévisible a posteriori une découverte fortuite qui n’avait jamais été envisagée avant l’analyse des données.

7. Composantes clés, typologies et dimensions

Le data snooping ne se limite pas à un geste méthodologique isolé, mais constitue une famille de pratiques analytiques opportunistes déployées à divers stades du traitement des données. Il convient d’en décomposer les formes opérationnelles les plus récurrentes :

• La pêche aux hypothèses ou HARKing (Hypothesizing After the Results are Known) : Pratique consistant à présenter une hypothèse purement post-hoc, forgée après avoir observé un résultat statistique saillant, comme s’il s’agissait d’une hypothèse préétablie déduite d’un cadre théorique formel.
• Le p-hacking et le dragage sélectif : Manipulation active et itérative des options analytiques (transformation des variables, ajout ou retrait de covariables, modification du traitement des données manquantes) jusqu’à ce que la valeur p franchisse de justesse le seuil symbolique de p < 0,05.
• L’échantillonnage optionnel non contrôlé (Optional Stopping) : Collecte de données assortie d’analyses statistiques répétées en continu au fil des inclusions de participants, avec arrêt immédiat du protocole dès l’atteinte d’un seuil significatif sans correction mathématique pour tests séquentiels multiples.
• Le découpage exploratoire de sous-groupes (Subgroup Churning) : Multiplication des analyses stratifiées a posteriori (par tranches d’âge arbitraires, par sexe, par niveau socio-économique ou par sous-échelles psychométriques isolées) jusqu’à ce qu’une sous-population spécifique manifeste l’effet espéré.
• La sélection biaiseuse des variables dépendantes : Administration d’une multiplicité d’instruments psychométriques ou de questionnaires évaluant un même construit ou des construits voisins, suivie de la publication exclusive des mesures ayant répondu favorablement au traitement expérimental.
• La suppression rétrospective de conditions expérimentales : Élimination discrète de bras d’intervention ou de groupes contrôles entiers au motif qu’ils n’ont « pas fonctionné », sans en faire mention dans le rapport méthodologique final.

8. Exemples et cas illustratifs

Pour illustrer la mécanique concrète du data snooping en psychologie clinique et cognitive, considérons le cas hypothétique mais classique d’une équipe de recherche évaluant l’impact d’une nouvelle thérapie cognitive basée sur la pleine conscience sur le bien-être psychologique d’étudiants universitaires en période d’examens. Les chercheurs recrutent un échantillon de 100 participants assignés aléatoirement à un groupe d’intervention ou à un groupe sur liste d’attente. Ils administrent une batterie de dix questionnaires standardisés mesurant l’anxiété état, l’anxiété trait, la dépression, le stress perçu, l’estime de soi, la résilience, la qualité du sommeil, la clarté émotionnelle, la régulation cognitive et l’auto-compassion.

Lors de l’analyse primaire globale des données, aucune différence statistiquement significative n’apparaît entre le groupe d’intervention et le groupe contrôle sur les échelles d’anxiété ou de dépression, qui constituaient pourtant les cibles prioritaires de l’intervention. Confrontés à ces résultats nuls menaçant la publication de leur travail, les chercheurs commencent à fureter dans le jeu de données : ils stratifient leur échantillon selon le genre, puis selon les années d’études (licence contre master), et enfin selon le lieu d’habitation (résidence universitaire contre domicile parental). Au terme de 48 analyses croisées successives non planifiées, ils découvrent une interaction significative (p = 0,038) indiquant que chez les étudiantes de troisième année vivant en colocation, la thérapie de pleine conscience entraîne une amélioration significative du score d’auto-compassion.

Au lieu de rapporter le protocole dans son intégralité avec la multiplicité des tests négatifs exécutés, les auteurs rédigent leur manuscrit en affirmant avoir conçu dès l’origine une recherche axée sur l’auto-compassion chez les jeunes femmes en transition universitaire majeure. Ils fournissent une argumentation théorique élégante, rétroactivement articulée autour de la charge mentale féminine et des défis relationnels en colocation. Ce cas d’école démontre comment le data snooping fabrique de toutes pièces une fiction scientifique à partir d’un bruit purement contingent.

Un autre exemple retentissant issu de la littérature psychologique concerne les premières vagues d’études d’associations en génétique comportementale des années 1990 et 2000. De multiples équipes de recherche ont corrélé des polymorphismes génétiques spécifiques (tels que le gène du transporteur de la sérotonine 5-HTTLPR) avec des dizaines d’inventaires de personnalité et d’événements de vie traumatiques. En testant des milliers d’interactions gène-environnement possibles sans correction statistique globale, des dizaines d’articles ont revendiqué la découverte du « gène de la vulnérabilité à la dépression » ou du « gène de la recherche de nouveauté ». Lorsque des consortiums internationaux ont ultérieurement mené des études d’association à l’échelle du génome entier (GWAS) sur des centaines de milliers d’individus avec des corrections rigoureuses pour tests multiples, la quasi-totalité de ces interactions précoces issues du data snooping s’est révélée impossible à répliquer.

9. Mesure, détection et évaluation

La détection du data snooping représente un défi méthodologique considérable en raison de l’invisibilité des démarches exploratoires dans les textes publiés. Néanmoins, la méta-recherche contemporaine a développé un arsenal d’outils statistiques et de procédures diagnostiques performants pour identifier les traces d’espionnage statistique à l’échelle des articles individuels ou de corpus entiers de littérature scientifique.

Parmi ces approches figure au premier plan l’analyse de la courbe des valeurs p (p-curve analysis), formalisée par Simonsohn, Nelson et Simmons. Cette technique repose sur le postulat mathématique que la distribution des valeurs p statistiquement significatives (p < 0,05) reflète la présence ou l’absence d’une véritable puissance statistique. Lorsqu’un phénomène psychologique est authentique et que l’étude dispose d’une puissance adéquate, la distribution des valeurs p significatives affiche une pente fortement descendante (la densité de p = 0,01 est bien plus forte que celle de p = 0,04). À l’inverse, en cas d’exploitation opportuniste des données et de data snooping visant uniquement à franchir le seuil d’admissibilité de 0,05, la courbe des valeurs p s’aplatit ou présente une accumulation anormale de valeurs p situées immédiatement en deçà du seuil (typiquement entre 0,04 et 0,049), signalant sans équivoque la présence d’une manipulation analytique systématique.

Un second outil majeur est l’Indice d’Excès de Résultats Significatifs (Test of Excess Significance ou TES), conceptualisé par John Ioannidis. Cet indice compare le nombre de résultats statistiquement significatifs observés dans une série d’expériences relatives à un même paradigme au nombre auquel on devrait mathématiquement s’attendre compte tenu de la taille des échantillons et de la puissance statistique médiane disponible. Si un programme de recherche rapporte six études consécutives toutes positives avec des puissances moyennes estimées à seulement 50 %, la probabilité théorique d’un tel sans-faute n’est que de (0,50)^6, soit environ 1,5 %. L’observation d’un taux de succès proche de 100 % dans des contextes de faible puissance statistique constitue un indicateur quasi irréfutable de sélection abusive de données ou de suppression d’analyses contradictoires.

Sur le plan textuel et structurel, les évaluateurs expérimentés traquent plusieurs signaux d’alerte caractéristiques au sein des rapports de recherche : l’absence inexplicable de conditions expérimentales pourtant standardisées, des degrés de liberté fluctuants d’une régression à l’autre au sein d’un même échantillon de participants, des seuils de découpage dichotomique non justifiés théoriquement, et des formulations d’hypothèses étrangement spécifiques et alambiquées qui trahissent une écriture post-hoc calibrée sur mesure pour les données disponibles.

10. Applications et portée pratique

L’élimination du data snooping n’est pas une simple querelle d’école réservée aux théoriciens de la méthode ; elle conditionne l’application pratique de la psychologie dans des domaines sociétaux cruciaux où les décisions humaines engagent la santé, la justice et l’éducation.

En psychologie clinique et en psychiatrie factuelle, les conséquences du data snooping peuvent être dévastatrices. Lorsqu’un essai clinique évalue une nouvelle psychothérapie ou une molécule psychoactive face à un placebo, l’exploitation opportune d’analyses de sous-groupes non prévues peut faire croire à l’efficacité d’un traitement pour une catégorie spécifique de patients (par exemple, les femmes âgées souffrant de dépression résistante), alors que cette observation ne relève que du bruit statistique. Si des praticiens fondent leurs prescriptions sur ces conclusions frelatées, des patients se voient administrer des thérapeutiques inopérantes tout en étant privés d’interventions validées, avec un coût financier et humain substantiel.

Dans le secteur de la psychologie du travail et des ressources humaines, les services organisationnels ont fréquemment recours à des matrices massives de données (People Analytics) pour prédire la performance, le roulement du personnel ou l’épuisement professionnel. La tentation de pratiquer le data snooping sur des bases de données volumineuses regroupant des dizaines de métriques comportementales est omniprésente. Les algorithmes d’apprentissage machine ou les modèles de régression exploratoire surajustés identifient des corrélations fortuites entre des traits de personnalité marginaux et la réussite professionnelle, conduisant les entreprises à instaurer des critères de recrutement discriminatoires ou inefficaces sur la base de pures chimères empiriques.

En psychologie médico-légale et dans l’évaluation du risque criminel, l’élaboration d’échelles actuarielles de dangerosité requiert une neutralité statistique absolue. Si les concepteurs d’un outil d’évaluation de la récidive recourent au data snooping pour sélectionner les items les plus fortement corrélés à la récidive au sein d’une cohorte rétrospective unique sans validation croisée sur un échantillon indépendant, l’outil s’effondrera lorsqu’il sera déployé en conditions réelles. Il en résultera soit des privations arbitraires de liberté pour des individus faussement étiquetés à haut risque, soit des libérations conditionnelles mal calibrées de profils véritablement dangereux.

11. Recherches et données empiriques

L’ampleur du data snooping au sein de la psychologie contemporaine a été documentée par d’importantes enquêtes métascientifiques conduites tout au long de la dernière décennie. Dans une étude emblématique qui a marqué la discipline, Leslie John, George Loewenstein et Drazen Prelec (2012) ont interrogé anonymement plus de 2 000 psychologues universitaires américains sur leurs pratiques de recherche réelles en utilisant des modèles d’estimation bayésienne de prévalence basés sur des techniques d’incitation à la véracité. Leurs résultats ont révélé que :

• 63 % des répondants ont admis ne pas avoir rapporté toutes les variables dépendantes mesurées au cours d’une étude ;
• 58 % ont reconnu avoir collecté des données supplémentaires après avoir examiné si les premiers résultats approchaient de la significativité ;
• 35 % ont reconnu avoir rapporté une découverte inattendue comme s’il s’agissait d’une hypothèse formulée a priori (HARKing) ;
• 27 % ont déclaré avoir exclu des données d’analyse après avoir constaté que leur inclusion supprimait la significativité statistique.

Ces données démontrent que le recours aux multiples variantes du data snooping ne constituait pas une dérive marginale imputable à quelques chercheurs malveillants, mais représentait une norme méthodologique tacitement acceptée au sein des laboratoires universitaires d’élite, alimentée par la pression institutionnelle du « publier ou périr » (publish or perish).

L’impact réel de ces pratiques sur la solidité du savoir psychologique a été quantifié par le vaste projet collaboratif d’estimation de la reproductibilité mené par l’Open Science Collaboration (2015), sous l’égide du Center for Open Science. En tentant de répliquer méthodiquement 100 études expérimentales et corrélationnelles publiées dans les trois revues internationales de psychologie les plus prestigieuses (Journal of Personality and Social Psychology, Journal of Experimental Psychology: Learning, Memory, and Cognition, et Psychological Science), le consortium a constaté que si 97 % des études initiales affichaient des effets statistiquement significatifs, seulement 36 % des réplications directes sont parvenues à reproduire des résultats statistiquement concluants. En outre, la taille moyenne des effets observés au sein des études répliquées s’est révélée inférieure de moitié à celle des publications d’origine. Les méthodologistes ont attribué une part prépondérante de cette déperdition expérimentale à l’inflation originelle des effets causée par le data snooping et les biais de publication conjoints.

12. Considérations culturelles et transdisciplinaires

Bien que les lois de la probabilité soient mathématiquement universelles, la vulnérabilité au data snooping et la propension à tolérer cette pratique fluctuent significativement selon les cultures épistémologiques disciplinaires et les contextes institutionnels d’évaluation de la recherche.

Dans les sciences physiques et l’astrophysique des hautes énergies, la culture méthodologique a historiquement intégré des barrières bien plus hermétiques contre le data snooping que la psychologie. Au CERN, par exemple, la découverte d’une nouvelle particule subatomique comme le boson de Higgs requiert l’atteinte d’un seuil de « 5 sigma », correspondant à une valeur p inférieure à environ 0,0000003 (trois chances sur dix millions de commettre une erreur de type I). Cette exigence draconienne neutralise d’emblée la vaste majorité des fluctuations statistiques issues de l’exploration massive de milliards de collisions de particules. De plus, les physiciens pratiquent couramment l’analyse en aveugle (blind analysis), une méthode dans laquelle les données réelles sont artificiellement masquées ou perturbées par injection de signaux fictifs pendant toute la phase de mise au point des algorithmes de filtrage, les données authentiques n’étant révélées qu’une fois le protocole analytique scellé de manière irrévocable.

À l’opposé, les sciences humaines et sociales ont longtemps opéré dans un climat de tolérance épistémique accrue vis-à-vis de l’exploration informelle des données. Dans les pays occidentaux, le culte de l’originalité théorique et de la « belle narration scientifique » a favorisé le maquillage de découvertes fortuites en trajectoires intellectuelles linéaires. Les chercheurs sont incités à livrer des manuscrits présentant une chaîne déductive impeccable, ce qui pousse structurellement à gommer la trajectoire erratique de l’analyse exploratoire pour faire correspondre le récit aux attentes des comités de lecture.

Néanmoins, un fossé culturel transdisciplinaire subsiste aujourd’hui entre les partisans de l’apprentissage machine (machine learning) et les tenants de l’inférence causale classique en psychologie. En science des données et en intelligence artificielle, l’exploration massive de millions de paramètres (ce qui correspondrait au sens strict à un data snooping démesuré) est acceptée et encouragée, car la discipline dispose d’une parade méthodologique rigoureuse : la séparation stricte et automatisée des jeux de données entre un ensemble d’entraînement (training set), un ensemble de validation croisée (validation set) et un ensemble de test inviolable (hold-out test set). La psychologie comportementale commence seulement à intégrer cette culture de la validation croisée stricte pour concilier la puissance de la modélisation prédictive avec les exigences de la reproductibilité scientifique.

13. Critiques, controverses et limites

La dénonciation systématique du data snooping suscite d’intenses débats méthodologiques et épistémologiques, certains chercheurs mettant en garde contre le risque d’une régression puritaine qui paralyserait l’intuition et l’exploration scientifique légitime.

La première controverse concerne le statut de la sérendipité dans le progrès de la connaissance. Des historiens des sciences soulignent que de nombreuses découvertes fondamentales en psychologie et en neurosciences — de la découverte accidentelle des neurones miroirs par Giacomo Rizzolatti à celle des effets antidépresseurs de l’imipramine — ont émergé d’observations fortuites faites par des chercheurs attentifs qui furetaient dans des protocoles non planifiés. Imposer une pénalisation excessive ou un rejet catégorique de toute analyse exploratoire post-hoc risquerait d’étouffer la curiosité empirique et d’interdire l’identification de phénomènes novateurs échappant aux théories en vigueur. Les méthodologistes modérés précisent donc que la critique ne porte jamais sur l’exploration de données en elle-même, mais exclusivement sur la dissimulation de cette exploration et sur sa présentation trompeuse sous des dehors confirmatoires.

Une deuxième ligne de tension oppose le paradigme fréquentiste orthodoxe au paradigme bayésien. Plusieurs statisticiens bayésiens de premier plan, tels qu’Eric-Jan Wagenmakers, soutiennent que la hantise du data snooping est en partie un artefact propre à l’épistémologie fréquentiste, laquelle subordonne la validité d’une conclusion au plan d’intention mentale du chercheur et au nombre de tests contrefactuels qu’il aurait pu exécuter dans un univers virtuel. Dans le cadre de l’inférence bayésienne basée sur le facteur de Bayes (Bayes Factor), les probabilités conditionnelles quantifient le soutien relatif apporté par les données observées à deux hypothèses concurrentes, indépendamment du nombre de regards jetés sur les données en cours de route. Si le facteur de Bayes n’échappe pas totalement au problème du surapprentissage des données, il traite la cohérence des preuves de manière plus directe que la métrique fréquentiste de la valeur p.

Enfin, une controverse persiste autour de la lourdeur procédurale imposée par les exigences de standardisation et de pré-enregistrement strict (Registered Reports). Certains chercheurs arguent que le verrouillage exhaustif de chaque étape de traitement avant l’ouverture du fichier de données crée une bureaucratisation de la recherche scientifique susceptible de brider l’agilité analytique indispensable face à des données réelles souvent bruitées, imparfaites et imprévisibles.

14. Termes associés et distinctions conceptuelles

Pour clarifier l’espace notionnel de la méthodologie quantitative, il est crucial de différencier le data snooping d’autres concepts opérationnels apparentés :

• Data Snooping vs Data Dredging (Dragage de données) : Si les deux termes sont couramment employés comme de quasi-synonymes, le data snooping insiste plus particulièrement sur l’acte passif ou semi-passif de « furetage » et d’inspection itérative du jeu de données pour y déceler des motifs exploitables, tandis que le data dredging renvoie à l’extraction brute, agressive et quasi automatique de centaines de contrastes statistiques à l’aide d’outils informatiques massifs.
• Data Snooping vs P-hacking : Le p-hacking désigne l’ensemble des manipulations actives, intentionnelles ou semi-conscientes sur les données (filtrage des observations aberrantes, choix sélectif des covariables, transformations non linéaires) ayant pour objectif direct de forcer une valeur p à passer sous le seuil critique de 0,05. Le data snooping englobe le p-hacking mais s’étend plus largement à tout calibrage d’hypothèses sur des régularités observées sans manipulation active du jeu de données lui-même.
• Data Snooping vs Analyse exploratoire de données (EDA) : L’analyse exploratoire des données, conceptualisée par John Tukey, est une démarche scientifique légitime, transparente et féconde visant à identifier la structure des distributions et à formuler de nouvelles intuitions. La distinction cardinale réside dans le fait que l’EDA s’assume expressément comme non confirmatoire et ne revendique jamais le statut de test d’hypothèse formel sans échantillon de réplication indépendant.
• Data Snooping vs HARKing : Le HARKing (Hypothesizing After the Results are Known) est la concrétisation narrative et rédactionnelle du data snooping. Il s’agit de l’acte d’écrire l’introduction d’un article académique en prétendant avoir formulé en amont l’hypothèse exacte qui a été découverte a posteriori par l’inspection des données.

15. Synthèse et points clés

Le data snooping constitue l’une des dérives méthodologiques les plus insidieuses des sciences contemporaines du comportement, érodant la frontière entre la découverte empirique et l’artefact stochastique. L’assimilation des principes fondamentaux suivants s’impose à tout chercheur et étudiant en psychologie :

• La subversion probabiliste : Examiner de multiples associations dans une base de données sans hypothèse préalable invalide le modèle théorique sous-jacent au test fréquentiste, multipliant exponentiellement le risque d’ériger de faux positifs au rang de vérités scientifiques.
• L’étanchéité des phases de recherche : L’exploration des données (génération d’hypothèses) et la confirmation empirique (test d’hypothèses) sont deux moments épistémologiques radicalement disjoints qui ne doivent jamais être confondus au sein du même jeu de données.
• Les vertus de la science ouverte : Le pré-enregistrement systématique des protocoles d’analyse sur des plateformes institutionnelles (telles que l’Open Science Framework) et l’adoption du format des Registered Reports (articles évalués par les pairs avant la collecte des données) représentent les remèdes les plus efficaces contre l’espionnage statistique opportuniste.
• La validation croisée impérative : Toute relation psychologique inattendue mise en lumière au cours d’une exploration opportuniste doit obligatoirement être soumise à une réplication directe sur un échantillon empirique entièrement nouveau et indépendant avant de pouvoir prétendre au statut de résultat confirmé.

Références

• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
• John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524-532. https://doi.org/10.1177/0956797611430953
• Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196-217. https://doi.org/10.1207/s15327957pspr0203_4
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359-1366. https://doi.org/10.1177/0956797611417632
• White, H. (2000). A reality check for data snooping. Econometrica, 68(5), 1097-1126. https://doi.org/10.1111/1468-0262.00152