Dans le champ de la psychologie scientifique et de l’analyse quantitative des comportements, l’int\u00e9grit\u00e9 de la d\u00e9marche empirique repose sur une fronti\u00e8re m\u00e9thodologique fondamentale entre l’exploration descriptive des faits et la confirmation formelle d’hypoth\u00e8ses th\u00e9oriques. Lorsque les chercheurs parcourent des ensembles volumineux de donn\u00e9es \u00e0 la recherche de r\u00e9gularit\u00e9s sans cadre d\u00e9ductif pr\u00e9alable, tout en appliquant a posteriori les canons de l’inf\u00e9rence statistique classique, ils s’exposent \u00e0 un artefact redoutable nomm\u00e9 l’espionnage statistique de donn\u00e9es. Cette pratique insidieuse engendre l’illusion de d\u00e9couvertes authentiques en transformant le bruit stochastique en pseudo-effets psychologiques hautement significatifs, mena\u00e7ant ainsi directement la robustesse cumulative des connaissances scientifiques.<\/p>\n
Le data snooping<\/strong>, fr\u00e9quemment traduit en fran\u00e7ais par les expressions fouille de donn\u00e9es abusive<\/em>, dragage de donn\u00e9es<\/em> ou espionnage statistique de donn\u00e9es<\/em>, d\u00e9signe la pratique m\u00e9thodologiquement fallacieuse consistant \u00e0 examiner de multiples relations au sein d’un jeu de donn\u00e9es sans hypoth\u00e8se formul\u00e9e a priori, puis \u00e0 s\u00e9lectionner et pr\u00e9senter uniquement les r\u00e9sultats qui atteignent un seuil de signification statistique conventionnel comme s’ils confirmaient une pr\u00e9diction th\u00e9orique initiale. Cette approche viole les hypoth\u00e8ses probabilistes fondamentales sur lesquelles repose le test d’hypoth\u00e8se nulle en masquant la multiplicit\u00e9 des comparaisons effectu\u00e9es.<\/p>\n Dans le contexte des sciences psychologiques, le data snooping se manifeste lorsqu’un chercheur teste un grand nombre d’associations potentielles entre des variables de personnalit\u00e9, des mesures comportementales, des marqueurs neurophysiologiques ou des conditions exp\u00e9rimentales, pour ne rapporter par la suite que les associations fortuites atteignant le seuil de significativit\u00e9 nominal (usuellement p inf\u00e9rieur \u00e0 0,05). Cette d\u00e9marche conf\u00e8re ind\u00fbment le statut de confirmation th\u00e9orique \u00e0 des corr\u00e9lations purement stochastiques.<\/p>\n Sur le plan \u00e9pist\u00e9mologique, le data snooping correspond \u00e0 une confusion m\u00e9thodologique grave entre la phase heuristique de d\u00e9couverte ou de g\u00e9n\u00e9ration d’hypoth\u00e8ses et la phase d\u00e9ductive de corroboration empirique. En dissimulant le processus it\u00e9ratif et opportuniste d’analyse ayant conduit au r\u00e9sultat rapport\u00e9, cette pratique invalide le calcul des probabilit\u00e9s conditionnelles r\u00e9gissant l’erreur de type I<\/a> et gonfle artificiellement le taux de faux positifs dans la litt\u00e9rature scientifique publi\u00e9e.<\/p>\n L’expression anglo-saxonne data snooping<\/em> est issue de la concat\u00e9nation de deux termes aux racines distinctes. Le vocable data<\/em> provient du latin datum<\/em>, participe pass\u00e9 neutre du verbe dare<\/em> signifiant \u00ab donner \u00bb ; au pluriel, les data<\/em> d\u00e9signent les \u00ab choses accord\u00e9es \u00bb, les \u00ab \u00e9l\u00e9ments donn\u00e9s \u00bb ou les bases factuelles admises pour \u00e9tablir un raisonnement d\u00e9ductif ou descriptif. Le terme a int\u00e9gr\u00e9 la langue anglaise au XVIIe si\u00e8cle avant d’\u00e9voluer vers sa signification moderne relative aux informations num\u00e9riques brutes collect\u00e9es au cours d’une observation.<\/p>\n Le verbe anglais snoop<\/em> trouve pour sa part son origine linguistique dans le n\u00e9erlandais snoepen<\/em>, qui signifiait initialement grignoter des douceurs en cachette, puis fureter furtivement dans les r\u00e9serves alimentaires. Emprunt\u00e9 par l’anglais am\u00e9ricain au cours du premier tiers du XIXe si\u00e8cle, to snoop<\/em> a rapidement acquis le sens m\u00e9taphorique de fureter, fouiner, espionner ou s’immiscer sans droit dans des affaires priv\u00e9es ou des contextes dissimul\u00e9s. Dans la litt\u00e9rature \u00e9conom\u00e9trique et statistique des ann\u00e9es 1960 et 1970, l’association data snooping<\/em> est apparue pour fustiger l’habitude de \u00ab fouiner \u00bb ind\u00fbment dans des banques de s\u00e9ries temporelles ou des matrices corr\u00e9lationnelles jusqu’\u00e0 ce qu’un r\u00e9sultat commercialement ou th\u00e9oriquement avantageux \u00e9merge spontan\u00e9ment.<\/p>\n En langue fran\u00e7aise acad\u00e9mique, plusieurs \u00e9quivalents coexistent selon les disciplines et les traditions p\u00e9dagogiques. Si l’anglicisme data snooping<\/em> demeure couramment usit\u00e9 dans les s\u00e9minaires de m\u00e9thodologie quantitative avanc\u00e9e, les commissions de terminologie et les manuels de psychom\u00e9trie francophones pr\u00e9conisent l’emploi de dragage de donn\u00e9es<\/em> (souvent confondu avec le terme connexe data dredging<\/em>), de p\u00eache aux donn\u00e9es<\/em> (analogue \u00e0 data fishing<\/em>) ou plus pr\u00e9cis\u00e9ment de fouille opportuniste de donn\u00e9es<\/em>. Le terme conserve dans tous les cas une connotation p\u00e9jorative \u00e9vidente, renvoyant \u00e0 une intrusion clandestine qui rompt la neutralit\u00e9 de l’observateur face \u00e0 son mat\u00e9riau empirique.<\/p>\n Sur le plan phon\u00e9tique, l’expression d’origine anglaise s’articule sous la transcription de l’Alphabet Phon\u00e9tique International (API) \/\u02c8de\u026at\u0259 \u02c8snu\u02d0p\u026a\u014b\/ ou \/\u02c8d\u0251\u02d0t\u0259 \u02c8snu\u02d0p\u026a\u014b\/ dans le monde anglo-saxon. Lorsqu’elle est mobilis\u00e9e par des locuteurs francophones au sein du discours acad\u00e9mique, elle subit une francisation partielle et se prononce g\u00e9n\u00e9ralement [da.ta snu.pi\u014b]. La consonne occlusive dentale vois\u00e9e \/d\/ et la consonne nasale v\u00e9laire finale \/\u014b\/ tendent \u00e0 s’int\u00e9grer aux habitudes articulatoires du fran\u00e7ais savant.<\/p>\n D’un point de vue morphosyntaxique, data snooping<\/em> est un syntagme nominal compos\u00e9 agissant comme un substantif masculin invariable en fran\u00e7ais (par exemple : \u00ab le data snooping fragilise les conclusions \u00bb). En tant que nom massif (ind\u00e9nombrable), il ne prend g\u00e9n\u00e9ralement pas la marque du pluriel dans les \u00e9crits acad\u00e9miques r\u00e9dig\u00e9s en fran\u00e7ais. Lorsqu’il est d\u00e9clin\u00e9 sous ses formes \u00e9quivalentes fran\u00e7aises, on emploie les locutions nominales f\u00e9minines \u00ab la fouille abusive de donn\u00e9es \u00bb, \u00ab la p\u00eache aux donn\u00e9es \u00bb ou masculine \u00ab le dragage statistique \u00bb.<\/p>\n Dans le discours m\u00e9thodologique, le terme op\u00e8re fr\u00e9quemment comme modificateur \u00e9pith\u00e8te ou adjectival au sein de syntagmes coordonn\u00e9s, \u00e0 l’instar du \u00ab biais de data snooping \u00bb (data snooping bias<\/em>) ou des \u00ab artefacts li\u00e9s au snooping \u00bb. L’usage exige que le chercheur distingue soigneusement ce concept passif ou actif des m\u00e9thodes l\u00e9gitimes de l’analyse exploratoire des donn\u00e9es (Exploratory Data Analysis<\/em>), en pr\u00e9cisant express\u00e9ment la nature r\u00e9pr\u00e9hensible ou biais\u00e9e de la d\u00e9marche lorsqu’il est mobilis\u00e9 dans une \u00e9valuation par les pairs ou une r\u00e9plication de protocole.<\/p>\n Pour appr\u00e9hender la m\u00e9canique du data snooping en psychologie, il est indispensable de revenir aux postulats fondamentaux du test statistique fond\u00e9 sur la valeur p<\/a> (p-value) d\u00e9velopp\u00e9e par Ronald Fisher et formalis\u00e9e dans le cadre d\u00e9cisionnel de Jerzy Neyman et Egon Pearson. Dans un sch\u00e9ma hypoth\u00e9tico-d\u00e9ductif standard, le chercheur formule une hypoth\u00e8se th\u00e9orique avant d’observer les donn\u00e9es, en d\u00e9duit une cons\u00e9quence testable, fixe un seuil d’erreur alpha (g\u00e9n\u00e9ralement \u00e9tabli \u00e0 0,05), puis recueille un \u00e9chantillon ind\u00e9pendant afin de d\u00e9terminer si les observations contredisent l’hypoth\u00e8se nulle d’absence de diff\u00e9rence ou de relation. Ce seuil nominal de 5 % stipule qu’en l’absence totale de tout effet r\u00e9el dans la population parente, il ne subsiste qu’une chance sur vingt d’observer un r\u00e9sultat aussi ou plus extr\u00eame par pure fluctuation d’\u00e9chantillonnage.<\/p>\n Le data snooping op\u00e8re une subversion radicale de cette m\u00e9canique probabiliste \u00e9l\u00e9mentaire. Si un investigateur analyse un jeu de donn\u00e9es contenant 100 variables psychologiques distinctes et teste l’ensemble des corr\u00e9lations bivari\u00e9es potentielles sans hypoth\u00e8se pr\u00e9\u00e9tablie, il examine environ 4 950 coefficients de corr\u00e9lation. En vertu des seules lois du hasard, environ 5 % de ces tests \u2014 soit pr\u00e8s de 247 associations \u2014 se r\u00e9v\u00e9leront statistiquement significatifs au seuil de p inf\u00e9rieur \u00e0 0,05, alors m\u00eame qu’aucune relation fonctionnelle ou causale ne sous-tend la dynamique sous-jacente des variables. Le data snooping consiste pr\u00e9cis\u00e9ment \u00e0 ignorer d\u00e9lib\u00e9r\u00e9ment ou inconsciemment les 4 703 tests non concluants pour isoler, th\u00e9oriser et soumettre \u00e0 publication une s\u00e9lection de ces 247 artefacts statistiques sous les oripeaux d’une d\u00e9couverte empirique rigoureusement confirm\u00e9e.<\/p>\n Cette pratique engendre ce que les statisticiens d\u00e9signent sous le nom d’\u00ab inflation de l’erreur globale de type I \u00bb (ou taux d’erreur par famille de tests). Lorsque k tests d’hypoth\u00e8ses ind\u00e9pendants sont r\u00e9alis\u00e9s au seuil alpha unitaire, la probabilit\u00e9 \u03b1_globale d’obtenir au moins un faux positif s’exprime formellement par la formule d’ind\u00e9pendance probabiliste :<\/p>\n \u03b1_globale = 1 – (1 – \u03b1)^k<\/span><\/p>\n D\u00e8s lors que k atteint seulement 20 tests d’hypoth\u00e8ses mutuellement non d\u00e9pendants, la probabilit\u00e9 d’observer au moins un r\u00e9sultat artificiellement significatif sans la moindre r\u00e9alit\u00e9 empirique culmine d\u00e9j\u00e0 \u00e0 plus de 64 % :<\/p>\n 1 – (1 – 0,05)^20 = 1 – (0,95)^20 \u2248 1 – 0,3585 = 0,6415 (soit 64,15 %)<\/span><\/p>\n En poursuivant l’exploration jusqu’\u00e0 50 comparaisons, cette probabilit\u00e9 s’\u00e9l\u00e8ve \u00e0 92,3 %, transformant l’obtention d’un r\u00e9sultat dit significatif en une quasi-certitude math\u00e9matique, d\u00e9connect\u00e9e de la v\u00e9rit\u00e9 du ph\u00e9nom\u00e8ne psychologique \u00e9tudi\u00e9.<\/p>\n Les fronti\u00e8res du data snooping s’\u00e9tendent au-del\u00e0 de la simple multiplication compulsive des tests bivari\u00e9s. Elles englobent des manipulations plus subtiles regroup\u00e9es sous le concept m\u00e9thodologique de \u00ab flexibilit\u00e9 du chercheur \u00bb (ou degr\u00e9s de libert\u00e9 du chercheur). Parmi ces tactiques figurent l’analyse s\u00e9quentielle clandestine (interrompre l’acquisition des participants d\u00e8s que le seuil p passe sous la barre des 0,05, ou au contraire continuer d’\u00e9chantillonner si le r\u00e9sultat fr\u00f4le le seuil), le d\u00e9coupage ad hoc de variables continues en sous-groupes dichotomiques ou polytomiques (m\u00e9dianes arbitraires, tertiles), l’inclusion ou l’\u00e9viction r\u00e9trospective de covariables statistiques, le tri orient\u00e9 des valeurs aberrantes (outliers<\/em>) et la transformation non motiv\u00e9e des variables d\u00e9pendantes jusqu’\u00e0 satisfaction de l’objectif de publication.<\/p>\n La prise de conscience du probl\u00e8me m\u00e9thodologique pos\u00e9 par l’exploration abusive des donn\u00e9es s’est d\u00e9velopp\u00e9e parall\u00e8lement aux progr\u00e8s de la puissance de calcul statistique tout au long du XXe si\u00e8cle. D\u00e8s les ann\u00e9es 1950, des statisticiens pionniers de l’analyse multivari\u00e9e et des comparaisons multiples, notamment John Tukey, Henry Scheff\u00e9 et David Duncan, ont alert\u00e9 la communaut\u00e9 acad\u00e9mique sur les distorsions inh\u00e9rentes \u00e0 l’examen a posteriori des contrastes entre moyennes empiriques. Tukey a particuli\u00e8rement insist\u00e9 sur la n\u00e9cessit\u00e9 de distinguer de mani\u00e8re \u00e9tanche l’analyse exploratoire des donn\u00e9es, dont l’ambition est d’engendrer des conjectures f\u00e9condes par le biais de visualisations et d’indices r\u00e9capitulatifs, de l’analyse confirmatoire, seule habilit\u00e9e \u00e0 statuer sur la validit\u00e9 des hypoth\u00e8ses formul\u00e9es au moyen de contr\u00f4les inf\u00e9rentiels rigoureux.<\/p>\n Durant les d\u00e9cennies 1970 et 1980, le recours massif aux calculateurs \u00e9lectroniques et aux premiers logiciels de traitement statistique (comme SPSS ou SAS) a d\u00e9multipli\u00e9 la facilit\u00e9 avec laquelle les chercheurs en sciences sociales pouvaient soumettre des banques de donn\u00e9es \u00e0 des centaines de r\u00e9gressions multiples, d’analyses factorielles et de croisements bivari\u00e9s en quelques secondes. C’est durant cette p\u00e9riode que le concept de data snooping s’est impos\u00e9 dans la litt\u00e9rature financi\u00e8re et \u00e9conom\u00e9trique, notamment sous la plume de chercheurs comme Halbert White, qui ont d\u00e9montr\u00e9 de mani\u00e8re \u00e9clatante comment des r\u00e8gles de n\u00e9gociation boursi\u00e8re pr\u00e9tendument infaillibles n’\u00e9taient que de purs mirages r\u00e9sultant du surajustement statistique sur des donn\u00e9es historiques archiv\u00e9es.<\/p>\n Au d\u00e9but du XXIe si\u00e8cle, la psychologie scientifique a fait face \u00e0 un s\u00e9isme \u00e9pist\u00e9mologique majeur qui a propuls\u00e9 le data snooping au c\u0153ur des d\u00e9bats sur l’int\u00e9grit\u00e9 de la recherche. L’ann\u00e9e 2011 a marqu\u00e9 un tournant d\u00e9cisif avec la parution de deux publications retentissantes. D’une part, l’article fondateur de Joseph Simmons, Leif Nelson et Uri Simonsohn, intitul\u00e9 \u00ab False-Positive Psychology \u00bb, a d\u00e9montr\u00e9 exp\u00e9rimentalement comment l’utilisation non d\u00e9clar\u00e9e de degr\u00e9s de libert\u00e9 m\u00e9thodologiques \u2014 forme sophistiqu\u00e9e de data snooping \u2014 pouvait amener les donn\u00e9es \u00e0 \u00e9tayer des affirmations manifestement absurdes (telle que l’id\u00e9e qu’\u00e9couter une chanson donn\u00e9e pouvait rajeunir chronologiquement les participants) tout en conservant une valeur p inf\u00e9rieure \u00e0 0,05. D’autre part, la publication par Daryl Bem d’une s\u00e9rie d’exp\u00e9riences sugg\u00e9rant l’existence de perceptions pr\u00e9cognitives chez des \u00e9tudiants a r\u00e9v\u00e9l\u00e9 les failles massives de protocoles bas\u00e9s sur des analyses exploratoires r\u00e9trospectivement d\u00e9guis\u00e9es en confirmations th\u00e9oriques.<\/p>\n Ces crises successives ont abouti \u00e0 ce que l’histoire des sciences nomme d\u00e9sormais la crise de la reproductibilit\u00e9<\/a>. Sous l’impulsion de m\u00e9thodologistes contemporains tels que Brian Nosek, John Ioannidis, Eric-Jan Wagenmakers et Dani\u00ebl Lakens, le data snooping a cess\u00e9 d’\u00eatre consid\u00e9r\u00e9 comme une simple maladresse de calcul pour \u00eatre appr\u00e9hend\u00e9 comme une distorsion structurelle de l’\u00e9cosyst\u00e8me de la publication acad\u00e9mique. Cette prise de conscience a donn\u00e9 naissance au mouvement de la science ouverte (Open Science<\/em>), dont les protocoles de pr\u00e9-enregistrement visent express\u00e9ment \u00e0 immuniser la recherche comportementale contre les ravages de l’opportunisme analytique.<\/p>\n Les fondements th\u00e9oriques expliquant l’\u00e9mergence et la persistance du data snooping s’enracinent \u00e0 la fois dans la th\u00e9orie des probabilit\u00e9s, l’\u00e9pist\u00e9mologie critique et la psychologie cognitive du chercheur. Sur le plan purement probabiliste, le ph\u00e9nom\u00e8ne d\u00e9coule de la nature asym\u00e9trique de l’inf\u00e9rence fr\u00e9quentiste. Dans le cadre th\u00e9orique standard, les propri\u00e9t\u00e9s des tests statistiques ne sont valides que sous l’hypoth\u00e8se stricte d’un plan d’\u00e9chantillonnage pr\u00e9\u00e9tabli, ex\u00e9cut\u00e9 une seule fois sans adaptation opportuniste en cours de route. D\u00e8s lors que les donn\u00e9es collect\u00e9es dictent le choix des analyses ult\u00e9rieures, la distribution d’\u00e9chantillonnage de la statistique de test sous l’hypoth\u00e8se nulle est profond\u00e9ment alt\u00e9r\u00e9e : les valeurs extr\u00eames deviennent structurellement surrepr\u00e9sent\u00e9es, ce qui d\u00e9nature la calibration math\u00e9matique des intervalles de confiance et des seuils critiques.<\/p>\n Sur le plan \u00e9pist\u00e9mologique, le data snooping mat\u00e9rialise l’impasse d\u00e9nonc\u00e9e par Karl Popper concernant la v\u00e9rificationnisme na\u00eff et les \u00ab hypoth\u00e8ses ad hoc \u00bb. Popper a vigoureusement soulign\u00e9 qu’une th\u00e9orie n’acquiert de valeur scientifique que si elle prend le risque d’\u00eatre falsifi\u00e9e par des tests s\u00e9v\u00e8res con\u00e7us en amont de l’exp\u00e9rience. Ajuster une hypoth\u00e8se ou s\u00e9lectionner des variables apr\u00e8s avoir pris connaissance des motifs empiriques revient \u00e0 construire une tautologie maquill\u00e9e en d\u00e9couverte d\u00e9ductive. Le philosophe des sciences Richard Feynman a illustr\u00e9 ce non-sens conceptuel \u00e0 travers une c\u00e9l\u00e8bre m\u00e9taphore : s’extasier sur la probabilit\u00e9 infinit\u00e9simale qu’une plaque d’immatriculation observ\u00e9e dans la rue porte pr\u00e9cis\u00e9ment les lettres \u00ab ARW 357 \u00bb n’a aucun sens statistique r\u00e9trospectivement, car n’importe quelle s\u00e9quence arbitraire poss\u00e8de exactement la m\u00eame probabilit\u00e9 a priori d’appara\u00eetre.<\/p>\n Sur le plan de la psychologie cognitive et comportementale, le data snooping est puissamment entretenu par des biais m\u00e9tacognitifs universels chez les chercheurs eux-m\u00eames. Le biais de confirmation<\/a> incline tout scientifique \u00e0 privil\u00e9gier, remarquer et m\u00e9moriser les analyses statistiques qui corroborent ses intuitions th\u00e9oriques pr\u00e9alables, tout en le poussant \u00e0 disqualifier comme \u00ab anomalies m\u00e9thodologiques \u00bb ou \u00ab artefacts de mesure \u00bb les tests qui infirment son mod\u00e8le. \u00c0 cela s’ajoute l’apoph\u00e9nie \u2014 la propension inn\u00e9e du cerveau humain \u00e0 percevoir des motifs coh\u00e9rents et des corr\u00e9lations structur\u00e9es au sein d’environnements stochastiques al\u00e9atoires \u2014 ainsi que le biais r\u00e9trospectif (hindsight bias<\/em>), qui fait para\u00eetre \u00e9vidente, plausible et pr\u00e9visible a posteriori une d\u00e9couverte fortuite qui n’avait jamais \u00e9t\u00e9 envisag\u00e9e avant l’analyse des donn\u00e9es.<\/p>\n Le data snooping ne se limite pas \u00e0 un geste m\u00e9thodologique isol\u00e9, mais constitue une famille de pratiques analytiques opportunistes d\u00e9ploy\u00e9es \u00e0 divers stades du traitement des donn\u00e9es. Il convient d’en d\u00e9composer les formes op\u00e9rationnelles les plus r\u00e9currentes :<\/p>\n Pour illustrer la m\u00e9canique concr\u00e8te du data snooping en psychologie clinique et cognitive, consid\u00e9rons le cas hypoth\u00e9tique mais classique d’une \u00e9quipe de recherche \u00e9valuant l’impact d’une nouvelle th\u00e9rapie cognitive bas\u00e9e sur la pleine conscience sur le bien-\u00eatre psychologique d’\u00e9tudiants universitaires en p\u00e9riode d’examens. Les chercheurs recrutent un \u00e9chantillon de 100 participants assign\u00e9s al\u00e9atoirement \u00e0 un groupe d’intervention ou \u00e0 un groupe sur liste d’attente. Ils administrent une batterie de dix questionnaires standardis\u00e9s mesurant l’anxi\u00e9t\u00e9 \u00e9tat, l’anxi\u00e9t\u00e9 trait, la d\u00e9pression, le stress per\u00e7u, l’estime de soi, la r\u00e9silience, la qualit\u00e9 du sommeil, la clart\u00e9 \u00e9motionnelle, la r\u00e9gulation cognitive et l’auto-compassion.<\/p>\n Lors de l’analyse primaire globale des donn\u00e9es, aucune diff\u00e9rence statistiquement significative n’appara\u00eet entre le groupe d’intervention et le groupe contr\u00f4le sur les \u00e9chelles d’anxi\u00e9t\u00e9 ou de d\u00e9pression, qui constituaient pourtant les cibles prioritaires de l’intervention. Confront\u00e9s \u00e0 ces r\u00e9sultats nuls mena\u00e7ant la publication de leur travail, les chercheurs commencent \u00e0 fureter dans le jeu de donn\u00e9es : ils stratifient leur \u00e9chantillon selon le genre, puis selon les ann\u00e9es d’\u00e9tudes (licence contre master), et enfin selon le lieu d’habitation (r\u00e9sidence universitaire contre domicile parental). Au terme de 48 analyses crois\u00e9es successives non planifi\u00e9es, ils d\u00e9couvrent une interaction significative (p = 0,038) indiquant que chez les \u00e9tudiantes de troisi\u00e8me ann\u00e9e vivant en colocation, la th\u00e9rapie de pleine conscience entra\u00eene une am\u00e9lioration significative du score d’auto-compassion<\/span>.<\/p>\n Au lieu de rapporter le protocole dans son int\u00e9gralit\u00e9 avec la multiplicit\u00e9 des tests n\u00e9gatifs ex\u00e9cut\u00e9s, les auteurs r\u00e9digent leur manuscrit en affirmant avoir con\u00e7u d\u00e8s l’origine une recherche ax\u00e9e sur l’auto-compassion chez les jeunes femmes en transition universitaire majeure. Ils fournissent une argumentation th\u00e9orique \u00e9l\u00e9gante, r\u00e9troactivement articul\u00e9e autour de la charge mentale f\u00e9minine et des d\u00e9fis relationnels en colocation. Ce cas d’\u00e9cole d\u00e9montre comment le data snooping fabrique de toutes pi\u00e8ces une fiction scientifique \u00e0 partir d’un bruit purement contingent.<\/p>\n Un autre exemple retentissant issu de la litt\u00e9rature psychologique concerne les premi\u00e8res vagues d’\u00e9tudes d’associations en g\u00e9n\u00e9tique comportementale des ann\u00e9es 1990 et 2000. De multiples \u00e9quipes de recherche ont corr\u00e9l\u00e9 des polymorphismes g\u00e9n\u00e9tiques sp\u00e9cifiques (tels que le g\u00e8ne du transporteur de la s\u00e9rotonine 5-HTTLPR) avec des dizaines d’inventaires de personnalit\u00e9 et d’\u00e9v\u00e9nements de vie traumatiques. En testant des milliers d’interactions g\u00e8ne-environnement possibles sans correction statistique globale, des dizaines d’articles ont revendiqu\u00e9 la d\u00e9couverte du \u00ab g\u00e8ne de la vuln\u00e9rabilit\u00e9 \u00e0 la d\u00e9pression \u00bb ou du \u00ab g\u00e8ne de la recherche de nouveaut\u00e9 \u00bb. Lorsque des consortiums internationaux ont ult\u00e9rieurement men\u00e9 des \u00e9tudes d’association \u00e0 l’\u00e9chelle du g\u00e9nome entier (GWAS) sur des centaines de milliers d’individus avec des corrections rigoureuses pour tests multiples, la quasi-totalit\u00e9 de ces interactions pr\u00e9coces issues du data snooping s’est r\u00e9v\u00e9l\u00e9e impossible \u00e0 r\u00e9pliquer.<\/p>\n La d\u00e9tection du data snooping repr\u00e9sente un d\u00e9fi m\u00e9thodologique consid\u00e9rable en raison de l’invisibilit\u00e9 des d\u00e9marches exploratoires dans les textes publi\u00e9s. N\u00e9anmoins, la m\u00e9ta-recherche contemporaine a d\u00e9velopp\u00e9 un arsenal d’outils statistiques et de proc\u00e9dures diagnostiques performants pour identifier les traces d’espionnage statistique \u00e0 l’\u00e9chelle des articles individuels ou de corpus entiers de litt\u00e9rature scientifique.<\/p>\n Parmi ces approches figure au premier plan l’analyse de la courbe des valeurs p (p-curve analysis<\/em>), formalis\u00e9e par Simonsohn, Nelson et Simmons. Cette technique repose sur le postulat math\u00e9matique que la distribution des valeurs p statistiquement significatives (p < 0,05) refl\u00e8te la pr\u00e9sence ou l’absence d’une v\u00e9ritable puissance statistique. Lorsqu’un ph\u00e9nom\u00e8ne psychologique est authentique et que l’\u00e9tude dispose d’une puissance ad\u00e9quate, la distribution des valeurs p significatives affiche une pente fortement descendante (la densit\u00e9 de p = 0,01 est bien plus forte que celle de p = 0,04). \u00c0 l’inverse, en cas d’exploitation opportuniste des donn\u00e9es et de data snooping visant uniquement \u00e0 franchir le seuil d’admissibilit\u00e9 de 0,05, la courbe des valeurs p s’aplatit ou pr\u00e9sente une accumulation anormale de valeurs p situ\u00e9es imm\u00e9diatement en de\u00e7\u00e0 du seuil (typiquement entre 0,04 et 0,049), signalant sans \u00e9quivoque la pr\u00e9sence d’une manipulation analytique syst\u00e9matique<\/span>.<\/p>\n Un second outil majeur est l’Indice d’Exc\u00e8s de R\u00e9sultats Significatifs (Test of Excess Significance<\/em> ou TES), conceptualis\u00e9 par John Ioannidis. Cet indice compare le nombre de r\u00e9sultats statistiquement significatifs observ\u00e9s dans une s\u00e9rie d’exp\u00e9riences relatives \u00e0 un m\u00eame paradigme au nombre auquel on devrait math\u00e9matiquement s’attendre compte tenu de la taille des \u00e9chantillons et de la puissance statistique m\u00e9diane disponible. Si un programme de recherche rapporte six \u00e9tudes cons\u00e9cutives toutes positives avec des puissances moyennes estim\u00e9es \u00e0 seulement 50 %, la probabilit\u00e9 th\u00e9orique d’un tel sans-faute n’est que de (0,50)^6, soit environ 1,5 %. L’observation d’un taux de succ\u00e8s proche de 100 % dans des contextes de faible puissance statistique constitue un indicateur quasi irr\u00e9futable de s\u00e9lection abusive de donn\u00e9es ou de suppression d’analyses contradictoires.<\/p>\n Sur le plan textuel et structurel, les \u00e9valuateurs exp\u00e9riment\u00e9s traquent plusieurs signaux d’alerte caract\u00e9ristiques au sein des rapports de recherche : l’absence inexplicable de conditions exp\u00e9rimentales pourtant standardis\u00e9es, des degr\u00e9s de libert\u00e9 fluctuants d’une r\u00e9gression \u00e0 l’autre au sein d’un m\u00eame \u00e9chantillon de participants, des seuils de d\u00e9coupage dichotomique non justifi\u00e9s th\u00e9oriquement, et des formulations d’hypoth\u00e8ses \u00e9trangement sp\u00e9cifiques et alambiqu\u00e9es qui trahissent une \u00e9criture post-hoc calibr\u00e9e sur mesure pour les donn\u00e9es disponibles.<\/p>\n L’\u00e9limination du data snooping n’est pas une simple querelle d’\u00e9cole r\u00e9serv\u00e9e aux th\u00e9oriciens de la m\u00e9thode ; elle conditionne l’application pratique de la psychologie dans des domaines soci\u00e9taux cruciaux o\u00f9 les d\u00e9cisions humaines engagent la sant\u00e9, la justice et l’\u00e9ducation.<\/p>\n En psychologie clinique et en psychiatrie factuelle, les cons\u00e9quences du data snooping peuvent \u00eatre d\u00e9vastatrices. Lorsqu’un essai clinique \u00e9value une nouvelle psychoth\u00e9rapie ou une mol\u00e9cule psychoactive face \u00e0 un placebo, l’exploitation opportune d’analyses de sous-groupes non pr\u00e9vues peut faire croire \u00e0 l’efficacit\u00e9 d’un traitement pour une cat\u00e9gorie sp\u00e9cifique de patients (par exemple, les femmes \u00e2g\u00e9es souffrant de d\u00e9pression r\u00e9sistante), alors que cette observation ne rel\u00e8ve que du bruit statistique. Si des praticiens fondent leurs prescriptions sur ces conclusions frelat\u00e9es, des patients se voient administrer des th\u00e9rapeutiques inop\u00e9rantes tout en \u00e9tant priv\u00e9s d’interventions valid\u00e9es, avec un co\u00fbt financier et humain substantiel.<\/p>\n Dans le secteur de la psychologie du travail et des ressources humaines, les services organisationnels ont fr\u00e9quemment recours \u00e0 des matrices massives de donn\u00e9es (People Analytics<\/em>) pour pr\u00e9dire la performance, le roulement du personnel ou l’\u00e9puisement professionnel. La tentation de pratiquer le data snooping sur des bases de donn\u00e9es volumineuses regroupant des dizaines de m\u00e9triques comportementales est omnipr\u00e9sente. Les algorithmes d’apprentissage machine ou les mod\u00e8les de r\u00e9gression exploratoire surajust\u00e9s identifient des corr\u00e9lations fortuites entre des traits de personnalit\u00e9 marginaux et la r\u00e9ussite professionnelle, conduisant les entreprises \u00e0 instaurer des crit\u00e8res de recrutement discriminatoires ou inefficaces sur la base de pures chim\u00e8res empiriques.<\/p>\n En psychologie m\u00e9dico-l\u00e9gale et dans l’\u00e9valuation du risque criminel, l’\u00e9laboration d’\u00e9chelles actuarielles de dangerosit\u00e9 requiert une neutralit\u00e9 statistique absolue. Si les concepteurs d’un outil d’\u00e9valuation de la r\u00e9cidive recourent au data snooping pour s\u00e9lectionner les items les plus fortement corr\u00e9l\u00e9s \u00e0 la r\u00e9cidive au sein d’une cohorte r\u00e9trospective unique sans validation crois\u00e9e sur un \u00e9chantillon ind\u00e9pendant, l’outil s’effondrera lorsqu’il sera d\u00e9ploy\u00e9 en conditions r\u00e9elles. Il en r\u00e9sultera soit des privations arbitraires de libert\u00e9 pour des individus faussement \u00e9tiquet\u00e9s \u00e0 haut risque, soit des lib\u00e9rations conditionnelles mal calibr\u00e9es de profils v\u00e9ritablement dangereux.<\/p>\n L’ampleur du data snooping au sein de la psychologie contemporaine a \u00e9t\u00e9 document\u00e9e par d’importantes enqu\u00eates m\u00e9tascientifiques conduites tout au long de la derni\u00e8re d\u00e9cennie. Dans une \u00e9tude embl\u00e9matique qui a marqu\u00e9 la discipline, Leslie John, George Loewenstein et Drazen Prelec (2012) ont interrog\u00e9 anonymement plus de 2 000 psychologues universitaires am\u00e9ricains sur leurs pratiques de recherche r\u00e9elles en utilisant des mod\u00e8les d’estimation bay\u00e9sienne de pr\u00e9valence bas\u00e9s sur des techniques d’incitation \u00e0 la v\u00e9racit\u00e9. Leurs r\u00e9sultats ont r\u00e9v\u00e9l\u00e9 que :<\/p>\n Ces donn\u00e9es d\u00e9montrent que le recours aux multiples variantes du data snooping ne constituait pas une d\u00e9rive marginale imputable \u00e0 quelques chercheurs malveillants, mais repr\u00e9sentait une norme m\u00e9thodologique tacitement accept\u00e9e au sein des laboratoires universitaires d’\u00e9lite, aliment\u00e9e par la pression institutionnelle du \u00ab publier ou p\u00e9rir \u00bb (publish or perish<\/em>).<\/p>\n L’impact r\u00e9el de ces pratiques sur la solidit\u00e9 du savoir psychologique a \u00e9t\u00e9 quantifi\u00e9 par le vaste projet collaboratif d’estimation de la reproductibilit\u00e9 men\u00e9 par l’Open Science Collaboration (2015), sous l’\u00e9gide du Center for Open Science. En tentant de r\u00e9pliquer m\u00e9thodiquement 100 \u00e9tudes exp\u00e9rimentales et corr\u00e9lationnelles publi\u00e9es dans les trois revues internationales de psychologie les plus prestigieuses (Journal of Personality and Social Psychology, Journal of Experimental Psychology: Learning, Memory, and Cognition, et Psychological Science), le consortium a constat\u00e9 que si 97 % des \u00e9tudes initiales affichaient des effets statistiquement significatifs, seulement 36 % des r\u00e9plications directes sont parvenues \u00e0 reproduire des r\u00e9sultats statistiquement concluants. En outre, la taille moyenne des effets observ\u00e9s au sein des \u00e9tudes r\u00e9pliqu\u00e9es s’est r\u00e9v\u00e9l\u00e9e inf\u00e9rieure de moiti\u00e9 \u00e0 celle des publications d’origine. Les m\u00e9thodologistes ont attribu\u00e9 une part pr\u00e9pond\u00e9rante de cette d\u00e9perdition exp\u00e9rimentale \u00e0 l’inflation originelle des effets caus\u00e9e par le data snooping et les biais de publication conjoints.<\/p>\n Bien que les lois de la probabilit\u00e9 soient math\u00e9matiquement universelles, la vuln\u00e9rabilit\u00e9 au data snooping et la propension \u00e0 tol\u00e9rer cette pratique fluctuent significativement selon les cultures \u00e9pist\u00e9mologiques disciplinaires et les contextes institutionnels d’\u00e9valuation de la recherche.<\/p>\n Dans les sciences physiques et l’astrophysique des hautes \u00e9nergies, la culture m\u00e9thodologique a historiquement int\u00e9gr\u00e9 des barri\u00e8res bien plus herm\u00e9tiques contre le data snooping que la psychologie. Au CERN, par exemple, la d\u00e9couverte d’une nouvelle particule subatomique comme le boson de Higgs requiert l’atteinte d’un seuil de \u00ab 5 sigma \u00bb, correspondant \u00e0 une valeur p inf\u00e9rieure \u00e0 environ 0,0000003 (trois chances sur dix millions de commettre une erreur de type I). Cette exigence draconienne neutralise d’embl\u00e9e la vaste majorit\u00e9 des fluctuations statistiques issues de l’exploration massive de milliards de collisions de particules. De plus, les physiciens pratiquent couramment l’analyse en aveugle (blind analysis<\/em>), une m\u00e9thode dans laquelle les donn\u00e9es r\u00e9elles sont artificiellement masqu\u00e9es ou perturb\u00e9es par injection de signaux fictifs pendant toute la phase de mise au point des algorithmes de filtrage, les donn\u00e9es authentiques n’\u00e9tant r\u00e9v\u00e9l\u00e9es qu’une fois le protocole analytique scell\u00e9 de mani\u00e8re irr\u00e9vocable.<\/p>\n \u00c0 l’oppos\u00e9, les sciences humaines et sociales ont longtemps op\u00e9r\u00e9 dans un climat de tol\u00e9rance \u00e9pist\u00e9mique accrue vis-\u00e0-vis de l’exploration informelle des donn\u00e9es. Dans les pays occidentaux, le culte de l’originalit\u00e9 th\u00e9orique et de la \u00ab belle narration scientifique \u00bb a favoris\u00e9 le maquillage de d\u00e9couvertes fortuites en trajectoires intellectuelles lin\u00e9aires. Les chercheurs sont incit\u00e9s \u00e0 livrer des manuscrits pr\u00e9sentant une cha\u00eene d\u00e9ductive impeccable, ce qui pousse structurellement \u00e0 gommer la trajectoire erratique de l’analyse exploratoire pour faire correspondre le r\u00e9cit aux attentes des comit\u00e9s de lecture.<\/p>\n N\u00e9anmoins, un foss\u00e9 culturel transdisciplinaire subsiste aujourd’hui entre les partisans de l’apprentissage machine (machine learning<\/em>) et les tenants de l’inf\u00e9rence causale classique en psychologie. En science des donn\u00e9es et en intelligence artificielle, l’exploration massive de millions de param\u00e8tres (ce qui correspondrait au sens strict \u00e0 un data snooping d\u00e9mesur\u00e9) est accept\u00e9e et encourag\u00e9e, car la discipline dispose d’une parade m\u00e9thodologique rigoureuse : la s\u00e9paration stricte et automatis\u00e9e des jeux de donn\u00e9es entre un ensemble d’entra\u00eenement (training set<\/em>), un ensemble de validation crois\u00e9e (validation set<\/em>) et un ensemble de test inviolable (hold-out test set<\/em>). La psychologie comportementale commence seulement \u00e0 int\u00e9grer cette culture de la validation crois\u00e9e stricte pour concilier la puissance de la mod\u00e9lisation pr\u00e9dictive avec les exigences de la reproductibilit\u00e9 scientifique.<\/p>\n La d\u00e9nonciation syst\u00e9matique du data snooping suscite d’intenses d\u00e9bats m\u00e9thodologiques et \u00e9pist\u00e9mologiques, certains chercheurs mettant en garde contre le risque d’une r\u00e9gression puritaine qui paralyserait l’intuition et l’exploration scientifique l\u00e9gitime.<\/p>\n La premi\u00e8re controverse concerne le statut de la s\u00e9rendipit\u00e9 dans le progr\u00e8s de la connaissance. Des historiens des sciences soulignent que de nombreuses d\u00e9couvertes fondamentales en psychologie et en neurosciences \u2014 de la d\u00e9couverte accidentelle des neurones miroirs par Giacomo Rizzolatti \u00e0 celle des effets antid\u00e9presseurs de l’imipramine \u2014 ont \u00e9merg\u00e9 d’observations fortuites faites par des chercheurs attentifs qui furetaient dans des protocoles non planifi\u00e9s. Imposer une p\u00e9nalisation excessive ou un rejet cat\u00e9gorique de toute analyse exploratoire post-hoc risquerait d’\u00e9touffer la curiosit\u00e9 empirique et d’interdire l’identification de ph\u00e9nom\u00e8nes novateurs \u00e9chappant aux th\u00e9ories en vigueur. Les m\u00e9thodologistes mod\u00e9r\u00e9s pr\u00e9cisent donc que la critique ne porte jamais sur l’exploration de donn\u00e9es en elle-m\u00eame, mais exclusivement sur la dissimulation de cette exploration et sur sa pr\u00e9sentation trompeuse sous des dehors confirmatoires.<\/p>\n Une deuxi\u00e8me ligne de tension oppose le paradigme fr\u00e9quentiste orthodoxe au paradigme bay\u00e9sien. Plusieurs statisticiens bay\u00e9siens de premier plan, tels qu’Eric-Jan Wagenmakers, soutiennent que la hantise du data snooping est en partie un artefact propre \u00e0 l’\u00e9pist\u00e9mologie fr\u00e9quentiste, laquelle subordonne la validit\u00e9 d’une conclusion au plan d’intention mentale du chercheur et au nombre de tests contrefactuels qu’il aurait pu ex\u00e9cuter dans un univers virtuel. Dans le cadre de l’inf\u00e9rence bay\u00e9sienne bas\u00e9e sur le facteur de Bayes (Bayes Factor<\/em>), les probabilit\u00e9s conditionnelles quantifient le soutien relatif apport\u00e9 par les donn\u00e9es observ\u00e9es \u00e0 deux hypoth\u00e8ses concurrentes, ind\u00e9pendamment du nombre de regards jet\u00e9s sur les donn\u00e9es en cours de route. Si le facteur de Bayes n’\u00e9chappe pas totalement au probl\u00e8me du surapprentissage des donn\u00e9es, il traite la coh\u00e9rence des preuves de mani\u00e8re plus directe que la m\u00e9trique fr\u00e9quentiste de la valeur p.<\/p>\n Enfin, une controverse persiste autour de la lourdeur proc\u00e9durale impos\u00e9e par les exigences de standardisation et de pr\u00e9-enregistrement strict (Registered Reports<\/em>). Certains chercheurs arguent que le verrouillage exhaustif de chaque \u00e9tape de traitement avant l’ouverture du fichier de donn\u00e9es cr\u00e9e une bureaucratisation de la recherche scientifique susceptible de brider l’agilit\u00e9 analytique indispensable face \u00e0 des donn\u00e9es r\u00e9elles souvent bruit\u00e9es, imparfaites et impr\u00e9visibles.<\/p>\n Pour clarifier l’espace notionnel de la m\u00e9thodologie quantitative, il est crucial de diff\u00e9rencier le data snooping d’autres concepts op\u00e9rationnels apparent\u00e9s :<\/p>\n Le data snooping constitue l’une des d\u00e9rives m\u00e9thodologiques les plus insidieuses des sciences contemporaines du comportement, \u00e9rodant la fronti\u00e8re entre la d\u00e9couverte empirique et l’artefact stochastique. L’assimilation des principes fondamentaux suivants s’impose \u00e0 tout chercheur et \u00e9tudiant en psychologie :<\/p>\n Le data snooping, ou fouille de donn\u00e9es abusive, est une d\u00e9rive m\u00e9thodologique majeure en psychologie quantitative consistant \u00e0 tester de multiples hypoth\u00e8ses non planifi\u00e9es jusqu’\u00e0 obtenir des r\u00e9sultats significatifs artificiels.<\/p>\n","protected":false},"author":1,"featured_media":0,"template":"","categories":[1679,2214,2],"tags":[5883,3512,43721,2219,9130,8813],"class_list":["post-26014","psych_term","type-psych_term","status-publish","hentry","category-epistemologie","category-methodologie","category-psychometrie","tag-biais-statistique","tag-crise-de-la-reproductibilite","tag-data-snooping","tag-methodologie-quantitative","tag-p-hacking","tag-science-ouverte"],"_links":{"self":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_term\/26014","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_term"}],"about":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/types\/psych_term"}],"author":[{"embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"version-history":[{"count":0,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_term\/26014\/revisions"}],"wp:attachment":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=26014"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=26014"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=26014"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}2. \u00c9tymologie et origine linguistique<\/h3>\n
3. Prononciation et forme grammaticale<\/h3>\n
4. Explication conceptuelle d\u00e9taill\u00e9e<\/h3>\n
5. \u00c9volution historique<\/h3>\n
6. Fondements th\u00e9oriques<\/h3>\n
7. Composantes cl\u00e9s, typologies et dimensions<\/h3>\n
\n
8. Exemples et cas illustratifs<\/h3>\n
9. Mesure, d\u00e9tection et \u00e9valuation<\/h3>\n
10. Applications et port\u00e9e pratique<\/h3>\n
11. Recherches et donn\u00e9es empiriques<\/h3>\n
\n
12. Consid\u00e9rations culturelles et transdisciplinaires<\/h3>\n
13. Critiques, controverses et limites<\/h3>\n
14. Termes associ\u00e9s et distinctions conceptuelles<\/h3>\n
\n
15. Synth\u00e8se et points cl\u00e9s<\/h3>\n
\n
R\u00e9f\u00e9rences<\/h2>\n
\n