Dans le paysage contemporain de la recherche en sciences humaines et particuli\u00e8rement en psychologie clinique, cognitive et sociale, l’\u00e9valuation quantitative des ph\u00e9nom\u00e8nes repose de mani\u00e8re pr\u00e9pond\u00e9rante sur le paradigme des tests d’hypoth\u00e8ses statistiques. Au c\u0153ur de ce dispositif m\u00e9thodologique se trouve un indicateur omnipr\u00e9sent, \u00e0 la fois c\u00e9l\u00e9br\u00e9 et controvers\u00e9 : la p-valeur, ou valeur de probabilit\u00e9 empirique. Lorsqu’un chercheur soumet ses donn\u00e9es exp\u00e9rimentales \u00e0 un logiciel de traitement statistique tel que R, SPSS ou JASP, l’apparition d’une mention indiquant que la p-valeur se situe en de\u00e7\u00e0 du seuil critique conventionnel de 0,05 d\u00e9clenche quasi invariablement un sentiment de validation empirique. Ce moment pr\u00e9cis est souvent per\u00e7u, \u00e0 tort ou \u00e0 raison, comme le franchissement d\u00e9cisif s\u00e9parant l’anecdote fortuite de la d\u00e9couverte scientifique digne d’\u00eatre publi\u00e9e.<\/p>\n
Pourtant, derri\u00e8re cette apparente simplicit\u00e9 binaire se dissimule une m\u00e9canique math\u00e9matique et \u00e9pist\u00e9mologique particuli\u00e8rement exigeante, dont l’incompr\u00e9hension chronique alimente depuis plusieurs d\u00e9cennies une profonde crise de r\u00e9plicabilit\u00e9 \u00e0 travers les sciences du comportement. Interpr\u00e9ter rigoureusement une p-valeur inf\u00e9rieure \u00e0 0,05 exige bien davantage que l’application m\u00e9canique d’une r\u00e8gle de d\u00e9cision h\u00e9rit\u00e9e des manuels d’introduction. Cela n\u00e9cessite de p\u00e9n\u00e9trer les fondements de l’inf\u00e9rence fr\u00e9quentiste, de distinguer avec clart\u00e9 la probabilit\u00e9 des donn\u00e9es sous un mod\u00e8le th\u00e9orique de la probabilit\u00e9 d’une hypoth\u00e8se substantive, et de reconna\u00eetre les fronti\u00e8res strictes au-del\u00e0 desquelles la statistique descriptive ou inf\u00e9rentielle cesse d’offrir des garanties logiques.<\/p>\n
Le pr\u00e9sent article propose une d\u00e9construction exhaustive, conceptuelle et appliqu\u00e9e de ce que signifie r\u00e9ellement obtenir une p-valeur inf\u00e9rieure \u00e0 0,05. \u00c0 travers un examen m\u00e9thodique des cadres de Fisher et de Neyman-Pearson, l’analyse d’exemples empiriques d\u00e9taill\u00e9s issus de la psychologie empirique, et l’expos\u00e9 des outils compl\u00e9mentaires indispensables que sont la taille d’effet et les intervalles de confiance, ce guide vise \u00e0 doter les \u00e9tudiants, cliniciens et chercheurs d’une grille de lecture critique, conforme aux standards m\u00e9thodologiques les plus exigeants de la discipline.<\/p>\n
L’\u00e9tude scientifique de l’esprit et du comportement humain se heurte d’embl\u00e9e \u00e0 une contrainte m\u00e9thodologique ind\u00e9passable : l’impossibilit\u00e9 pratique et mat\u00e9rielle d’observer l’int\u00e9gralit\u00e9 d’une population cible. Qu’il s’agisse d’\u00e9valuer l’efficacit\u00e9 d’une nouvelle approche psychoth\u00e9rapeutique sur des individus souffrant de d\u00e9pression caract\u00e9ris\u00e9e ou de mesurer la capacit\u00e9 de la m\u00e9moire de travail chez les jeunes adultes, l’investigateur doit imp\u00e9rativement restreindre ses observations \u00e0 un \u00e9chantillon fini et relativement restreint de participants. D\u00e8s lors, le d\u00e9fi majeur de la d\u00e9marche empirique consiste \u00e0 op\u00e9rer une transition inductive valide, permettant de d\u00e9duire les param\u00e8tres inconnus de la population \u00e0 partir des statistiques calcul\u00e9es sur l’\u00e9chantillon extrait de cette m\u00eame population.<\/p>\n
Cette transition de l’\u00e9chantillon vers la population constitue le champ d’action exclusif de l’inf\u00e9rence statistique<\/a>. Dans les disciplines du comportement, l’observation directe est syst\u00e9matiquement bruit\u00e9e par une multitude de sources de variabilit\u00e9 non contr\u00f4l\u00e9es : les fluctuations individuelles de motivation, la fatigue passag\u00e8re des sujets, les idiosyncrasies biologiques, les biais d’\u00e9valuation m\u00e9trologique et, plus fondamentalement, l’al\u00e9a intrins\u00e8que li\u00e9 \u00e0 l’\u00e9chantillonnage probabiliste. Si l’on administre une t\u00e2che d’attention s\u00e9lective \u00e0 deux groupes de vingt individus rigoureusement assign\u00e9s au hasard sans aucune intervention particuli\u00e8re, il est virtuellement certain que les moyennes de performance de ces deux groupes ne seront pas strictement identiques au milli\u00e8me de milliseconde pr\u00e8s. L’inf\u00e9rence statistique fournit pr\u00e9cis\u00e9ment le cadre math\u00e9matique et probabiliste permettant de formaliser, de mod\u00e9liser et de quantifier cette incertitude inh\u00e9rente \u00e0 l’observation humaine, fournissant ainsi une base objective pour la prise de d\u00e9cision scientifique face au bruit d’\u00e9chantillonnage.<\/p>\n Cependant, ce passage de la description locale d’un \u00e9chantillon \u00e0 la g\u00e9n\u00e9ralisation populationnelle comporte des limites \u00e9pist\u00e9mologiques intrins\u00e8ques. La variabilit\u00e9 d’\u00e9chantillonnage implique qu’aucune observation isol\u00e9e ne peut pr\u00e9tendre \u00e0 l’infaillibilit\u00e9 d\u00e9ductive. Chaque r\u00e9sultat recueilli dans un laboratoire de psychologie ne repr\u00e9sente qu’une r\u00e9alisation ponctuelle parmi une infinit\u00e9 d’\u00e9chantillons potentiels qui auraient pu \u00eatre extraits de la population parente sous les m\u00eames conditions m\u00e9thodologiques. Reconna\u00eetre le r\u00f4le de l’inf\u00e9rence statistique, c’est donc accepter d’\u00e9voluer dans un univers probabiliste o\u00f9 la certitude absolue est bannie, et o\u00f9 chaque conclusion doit \u00eatre modul\u00e9e par une estimation rigoureuse du risque d’erreur consubstantiel \u00e0 la fluctuation des donn\u00e9es empiriques.<\/p>\n Pour soumettre une interrogation de recherche empirique \u00e0 l’\u00e9preuve de la mod\u00e9lisation statistique, le chercheur doit obligatoirement traduire ses intuitions th\u00e9oriques en un couple d’hypoth\u00e8ses formelles, mutuellement exclusives et conjointement exhaustives : l’hypoth\u00e8se nulle, not\u00e9e habituellement H<\/em>0<\/sub>, et l’hypoth\u00e8se alternative, d\u00e9sign\u00e9e par H<\/em>1<\/sub> ou H<\/em>a<\/sub>. Ce processus de formalisation constitue une \u00e9tape de transition charni\u00e8re entre la conceptualisation psychologique abstraite et le traitement quantitatif rigoureux.<\/p>\n L’hypoth\u00e8se nulle (H<\/em>0<\/sub>) sp\u00e9cifie traditionnellement l’absence d’effet, l’\u00e9galit\u00e9 parfaite des param\u00e8tres populationnels ou la stricte ind\u00e9pendance probabiliste entre deux variables observ\u00e9es. Sur le plan math\u00e9matique, elle s’\u00e9nonce sous la forme d’une \u00e9galit\u00e9 stricte, par exemple H<\/em>0<\/sub> : μ1<\/sub> – μ2<\/sub> = 0 dans le cadre de la comparaison des moyennes de deux populations distinctes, ou H<\/em>0<\/sub> : ρ = 0 lorsqu’il s’agit d’\u00e9valuer la corr\u00e9lation lin\u00e9aire entre deux construits psychom\u00e9triques. Dans le cadre de la m\u00e9thode hypoth\u00e9tico-d\u00e9ductive d’inspiration popp\u00e9rienne, H<\/em>0<\/sub> occupe une posture \u00e9pist\u00e9mologique privil\u00e9gi\u00e9e : elle b\u00e9n\u00e9ficie d’une pr\u00e9somption initiale de v\u00e9racit\u00e9 absolue. Elle sert d’hypoth\u00e8se de r\u00e9f\u00e9rence sceptique, repr\u00e9sentant le mod\u00e8le selon lequel les observations empiriques recueillies ne seraient que le simple reflet d’un bruit de mesure et d’un \u00e9chantillonnage al\u00e9atoire au sein d’une distribution sans structure sous-jacente.<\/p>\n Face \u00e0 ce mod\u00e8le nul se dresse l’hypoth\u00e8se alternative (H<\/em>1<\/sub>), qui formalise l’existence d’une r\u00e9gularit\u00e9, d’une disparit\u00e9 syst\u00e9matique ou d’une covariation r\u00e9elle au sein de la population. L’hypoth\u00e8se alternative peut \u00eatre formul\u00e9e de mani\u00e8re bidirectionnelle (non directionnelle), postulant simplement que μ1<\/sub> ≠ μ2<\/sub>, ou de mani\u00e8re unidirectionnelle (directionnelle), lorsque des consid\u00e9rations th\u00e9oriques ou cliniques pr\u00e9alables solides permettent d’anticiper le sens pr\u00e9cis du ph\u00e9nom\u00e8ne observ\u00e9 (par exemple, μ1<\/sub> > μ2<\/sub>). Il est capital de maintenir une distinction conceptuelle nette entre l’hypoth\u00e8se th\u00e9orique de recherche\u2014telle que \u00ab la th\u00e9rapie m\u00e9tacognitive att\u00e9nue les ruminations dysphoriques \u00bb\u2014et l’hypoth\u00e8se statistique op\u00e9rationnelle, qui s’exprime exclusivement \u00e0 travers des param\u00e8tres math\u00e9matiques quantifiables appliqu\u00e9s aux distributions de variables al\u00e9atoires.<\/p>\n D’un point de vue rigoureusement probabiliste, la p-valeur<\/a> (ou probability value<\/em>) se d\u00e9finit comme la probabilit\u00e9 conditionnelle d’observer, dans un \u00e9chantillon de taille identique et extrait selon le m\u00eame plan exp\u00e9rimental, une statistique de test au moins aussi extr\u00eame ou d\u00e9viante que celle effectivement constat\u00e9e dans l’\u00e9tude, en supposant que l’hypoth\u00e8se nulle (H<\/em>0<\/sub>) soit rigoureusement vraie dans la population cible. Formellement, si l’on d\u00e9signe par T<\/em> la variable al\u00e9atoire repr\u00e9sentant la statistique de test et par t<\/em>obs<\/sub> la valeur num\u00e9rique concr\u00e8tement obtenue \u00e0 partir des donn\u00e9es recueillies, la p-valeur bilat\u00e9rale s’exprime math\u00e9matiquement par la relation :<\/p>\n p<\/em> = P<\/em>(|T<\/em>| ≥ |t<\/em>obs<\/sub>| | H<\/em>0<\/sub>)<\/p>\n Cette formulation formelle \u00e9claire imm\u00e9diatement la nature continue de la p-valeur. Elle constitue une mesure quantitative normalis\u00e9e, comprise strictement entre 0 et 1, du degr\u00e9 de compatibilit\u00e9 ou d’harmonie entre le mod\u00e8le statistique sous-tendu par l’hypoth\u00e8se nulle et le jeu de donn\u00e9es empiriquement collig\u00e9. Une p-valeur \u00e9lev\u00e9e indique que les donn\u00e9es recueillies ne pr\u00e9sentent aucune discordance notable avec ce que l’on attendrait de simples tirages al\u00e9atoires au sein d’une population o\u00f9 l’effet postul\u00e9 est rigoureusement inexistant. \u00c0 l’inverse, une p-valeur remarquablement faible signale une tension math\u00e9matique aigu\u00eb entre les observations du chercheur et les pr\u00e9dictions th\u00e9oriques d\u00e9coulant du mod\u00e8le nul.<\/p>\n L’\u00e9cueil conceptuel le plus pr\u00e9valent et le plus dommageable dans l’interpr\u00e9tation de cet indice r\u00e9side dans l’incapacit\u00e9 fr\u00e9quente \u00e0 diff\u00e9rencier deux probabilit\u00e9s conditionnelles asym\u00e9triques : la probabilit\u00e9 des donn\u00e9es sachant l’hypoth\u00e8se, formellement not\u00e9e P<\/em>(Donn\u00e9es | H<\/em>0<\/sub>), et la probabilit\u00e9 inverse de l’hypoth\u00e8se sachant les donn\u00e9es observ\u00e9es, s’\u00e9crivant P<\/em>(H<\/em>0<\/sub> | Donn\u00e9es). La p-valeur rel\u00e8ve exclusivement du premier terme de cette dualit\u00e9. Elle fonctionne sous la pr\u00e9misse inconditionnelle que H<\/em>0<\/sub> est vraie. En aucun cas, et sous aucune condition m\u00e9thodologique dans le cadre de l’inf\u00e9rence fr\u00e9quentiste standard, la p-valeur ne quantifie la vraisemblance, la plausibilit\u00e9 ou la probabilit\u00e9 que l’hypoth\u00e8se nulle elle-m\u00eame soit vraie ou fausse \u00e0 la lumi\u00e8re des faits exp\u00e9rimentaux.<\/p>\n L’obtention d’une p-valeur inf\u00e9rieure au seuil conventionnel de 0,05 signifie tr\u00e8s pr\u00e9cis\u00e9ment ceci : si l’on posait comme axiome absolu que le ph\u00e9nom\u00e8ne \u00e9tudi\u00e9 est inexistant dans la population parente (H<\/em>0<\/sub> vraie) et que l’on r\u00e9p\u00e9tait ind\u00e9finiment la m\u00eame proc\u00e9dure d’\u00e9chantillonnage et de mesure dans des conditions identiques, la probabilit\u00e9 d’obtenir une statistique de test au moins aussi discordante que celle calcul\u00e9e sur notre \u00e9chantillon serait strictement inf\u00e9rieure \u00e0 5 % (c’est-\u00e0-dire moins d’une chance sur vingt).<\/p>\n Dans l’architecture formalis\u00e9e par Jerzy Neyman et Egon Pearson<\/a>, ce seuil de 0,05 est d\u00e9sign\u00e9 sous le terme de niveau de signification nominal, symbolis\u00e9 par la lettre grecque α (alpha). Il d\u00e9limite a priori la tol\u00e9rance maximale consentie par l’exp\u00e9rimentateur \u00e0 commettre une erreur d\u00e9cisionnelle sp\u00e9cifique : rejeter l’hypoth\u00e8se nulle alors que celle-ci est pourtant v\u00e9ridique dans la r\u00e9alit\u00e9 ontologique de la population cible. Sur le plan des distributions th\u00e9oriques d’\u00e9chantillonnage\u2014qu’il s’agisse de la loi normale centr\u00e9e r\u00e9duite (loi z<\/em>), de la loi de t<\/em> de Student, du F<\/em> de Fisher-Snedecor ou du Chi-deux (χ\u00b2)\u2014le seuil de 0,05 circonscrit une surface g\u00e9om\u00e9trique pr\u00e9cise sous la courbe de densit\u00e9 de probabilit\u00e9, correspondant aux 5 % les plus extr\u00eames r\u00e9parties dans les queues de distribution (ou r\u00e9gion critique de rejet).<\/p>\n Ainsi, constater que p<\/em> < 0,05 atteste que la statistique d\u00e9riv\u00e9e des observations cliniques ou comportementales s’est projet\u00e9e au-del\u00e0 des bornes critiques pr\u00e9\u00e9tablies. Le chercheur se trouve confront\u00e9 \u00e0 une alternative logique incontournable : soit l’hypoth\u00e8se nulle est effectivement vraie et un \u00e9v\u00e9nement hautement improbable, dont la survenue sous l’effet du seul hasard d’\u00e9chantillonnage survient dans moins de 5 % des r\u00e9plications id\u00e9ales, s’est r\u00e9alis\u00e9 dans son \u00e9tude ; soit l’hypoth\u00e8se nulle est factice, erron\u00e9e ou inad\u00e9quate pour rendre compte de la structure g\u00e9n\u00e9ratrice des donn\u00e9es r\u00e9elles.<\/p>\n Plut\u00f4t que d’envisager la p-valeur sous l’angle exclusif d’un m\u00e9canisme de d\u00e9cision binaire automatique, l’approche \u00e9pist\u00e9mologique d’inspiration fisherienne invite \u00e0 la concevoir comme un indice continu quantifiant la force du signal exp\u00e9rimental contre le mod\u00e8le nul. Lorsque p<\/em> d\u00e9cro\u00eet et passe sous la barre des 0,05, la distance m\u00e9trique entre la distribution d’\u00e9chantillonnage attendue sous le r\u00e8gne du hasard pur et les donn\u00e9es concr\u00e8tement observ\u00e9es augmente de mani\u00e8re substantielle.<\/p>\n Cette lecture en termes de degr\u00e9 de compatibilit\u00e9 permet de saisir avec nuance ce que traduit une m\u00e9trique telle que p<\/em> = 0,03 ou p<\/em> = 0,01. Elle signale que les donn\u00e9es de l’\u00e9chantillon pr\u00e9sentent un profil empirique singulier, difficilement conciliable avec l’assertion th\u00e9orique postulant que les groupes exp\u00e9rimentaux ont \u00e9t\u00e9 tir\u00e9s au sort au sein d’une unique population homog\u00e8ne. La discordance entre la th\u00e9orie de l’absence d’effet et les faits observ\u00e9s devient suffisamment vive pour que le mod\u00e8le th\u00e9orique nul apparaisse sous tension.<\/p>\n Cependant, cette mesure de discordance ne renseigne en aucune mani\u00e8re sur la source de la divergence. Le d\u00e9calage math\u00e9matique qui propulse la p-valeur sous le seuil de 0,05 peut r\u00e9sulter d’une v\u00e9ritable action causale de la variable ind\u00e9pendante manipul\u00e9e par le psychologue, mais il peut tout aussi bien d\u00e9couler d’une violation des postulats sous-jacents au test statistique (comme la non-normalit\u00e9 s\u00e9v\u00e8re ou l’h\u00e9t\u00e9rosc\u00e9dasticit\u00e9), de biais de mesure syst\u00e9matiques non contr\u00f4l\u00e9s, d’effets de confusion non anticip\u00e9s, ou encore d’une fluctuation d’\u00e9chantillonnage inhabituelle mais parfaitement naturelle.<\/p>\n L’usage dominant dans les revues internationales de psychologie et de psychiatrie consiste \u00e0 op\u00e9rer un d\u00e9coupage binaire strict entre les r\u00e9sultats dits \u00ab statistiquement significatifs \u00bb (lorsque p<\/em> < 0,05) et ceux qualifi\u00e9s de \u00ab non significatifs \u00bb (lorsque p<\/em> ≥ 0,05). Cette c\u00e9sure dichotomique rigide soul\u00e8ve des incoh\u00e9rences th\u00e9oriques et m\u00e9thodologiques majeures, fr\u00e9quemment d\u00e9nonc\u00e9es par les statisticiens contemporains.<\/p>\n Consid\u00e9rons l’absurdit\u00e9 pratique induite par cette scission arbitraire \u00e0 travers la comparaison de deux \u00e9tudes cliniques ind\u00e9pendantes mesurant l’att\u00e9nuation des sympt\u00f4mes d’un trouble de stress post-traumatique par une th\u00e9rapie narrative :<\/p>\n Selon l’orthodoxie dichotomique simpliste, le chercheur de l’\u00e9tude A est autoris\u00e9 \u00e0 proclamer la r\u00e9ussite de son intervention et la d\u00e9couverte d’un effet av\u00e9r\u00e9, tandis que le chercheur de l’\u00e9tude B se voit contraint de conclure \u00e0 l’absence de preuve statistique, son r\u00e9sultat \u00e9tant rel\u00e9gu\u00e9 dans la cat\u00e9gorie infamante du \u00ab non-significatif \u00bb. D’un point de vue probabiliste et math\u00e9matique, la diff\u00e9rence d’\u00e9vidence empirique fournie par ces deux \u00e9tudes est rigoureusement infime, n\u00e9gligeable et sans port\u00e9e r\u00e9elle. Traiter 0,049 et 0,051 comme deux cat\u00e9gories qualitatives radicalement dissemblables rel\u00e8ve d’une illusion m\u00e9thodologique que le statisticien Andrew Gelman et d’autres ont baptis\u00e9e le sophisme consistant \u00e0 confondre \u00ab la diff\u00e9rence entre significatif et non-significatif \u00bb avec une v\u00e9ritable \u00ab diff\u00e9rence substantielle \u00bb.<\/p>\n C’est pourquoi les directives \u00e9pist\u00e9mologiques contemporaines, port\u00e9es notamment par l’American Statistical Association (ASA), recommandent d’abandonner l’usage dogmatique de la dichotomie significatif\/non-significatif. La p-valeur doit \u00eatre appr\u00e9hend\u00e9e pour ce qu’elle est : une variable al\u00e9atoire continue refl\u00e9tant un continuum de compatibilit\u00e9 vis-\u00e0-vis d’un mod\u00e8le nul sp\u00e9cifique, exigeant une analyse contextualis\u00e9e int\u00e9grant la plausibilit\u00e9 du m\u00e9canisme th\u00e9orique sous-jacent, la conception de l’exp\u00e9rience et la pr\u00e9cision des mesures.<\/p>\n Pour comprendre comment une p-valeur inf\u00e9rieure \u00e0 0,05 autorise formellement l’abandon de l’hypoth\u00e8se nulle, il est indispensable de se r\u00e9f\u00e9rer au mod\u00e8le d’inf\u00e9rence d\u00e9cisionnelle \u00e9labor\u00e9 dans les ann\u00e9es 1930 par Jerzy Neyman et Egon Pearson. Contrairement \u00e0 la vision purement inductive de Ronald Fisher, Neyman et Pearson ont con\u00e7u l’analyse statistique non pas comme un outil permettant d’\u00e9tablir une croyance inductive sur la v\u00e9rit\u00e9 d’une th\u00e9orie dans une exp\u00e9rience isol\u00e9e, mais comme une proc\u00e9dure op\u00e9rationnelle formalis\u00e9e destin\u00e9e \u00e0 r\u00e9guler le comportement du chercheur face \u00e0 l’incertitude dans une perspective de long terme.<\/p>\n Dans ce mod\u00e8le, l’espace \u00e9chantillonnal est rigoureusement partitionn\u00e9 avant m\u00eame le recueil de la moindre donn\u00e9e en deux r\u00e9gions disjointes : la r\u00e9gion d’acceptation (ou plus exactement de non-rejet) et la r\u00e9gion critique de rejet de l’hypoth\u00e8se nulle. Ce partitionnement est calibr\u00e9 selon le risque d’erreur α que la communaut\u00e9 scientifique accepte de tol\u00e9rer. La r\u00e8gle de d\u00e9cision est limpide, algorithmique et universelle :<\/p>\n Dans cet environnement m\u00e9thodologique standardis\u00e9, le franchissement du cap p<\/em> < 0,05 constitue l’\u00e9l\u00e9ment d\u00e9clencheur autorisant l’exp\u00e9rimentateur \u00e0 basculer son cadre interpr\u00e9tatif vers l’hypoth\u00e8se alternative. Il ne s’agit pas d’une preuve d\u00e9ductive de la justesse de H<\/em>1<\/sub>, mais de l’application d’un protocole m\u00e9thodologique standardis\u00e9 garantissant qu’au cours d’une vie enti\u00e8re de recherche empirique, la proportion d’erreurs commises par rejet inappropri\u00e9 ne d\u00e9passera pas le seuil contractuel de 5 %.<\/p>\n Sur le plan de l’argumentation \u00e9pist\u00e9mologique, le rejet de H<\/em>0<\/sub> sous la condition p<\/em> < 0,05 \u00e9quivaut \u00e0 la disqualification du \u00ab hasard d’\u00e9chantillonnage \u00bb en tant qu’explication exclusive, optimale ou suffisante des r\u00e9sultats collect\u00e9s. Lorsque des psychologues mesurent, par exemple, un gain de performance cognitive chez des sujets entra\u00een\u00e9s par rapport \u00e0 un groupe placebo, la premi\u00e8re hypoth\u00e8se rivale \u00e0 \u00e9liminer n’est pas une th\u00e9orie concurrente complexe, mais l’hypoth\u00e8se banale selon laquelle ce diff\u00e9rentiel de score n’est qu’un art\u00e9fact stochastique imputable \u00e0 l’assignation fortuite d’individus plus dou\u00e9s dans le groupe exp\u00e9rimental.<\/p>\n La confirmation que p<\/em> < 0,05 autorise \u00e0 soutenir l’argument suivant : attribuer l’\u00e9cart observ\u00e9 \u00e0 la simple chance statistique exige de croire \u00e0 la r\u00e9alisation d’un sc\u00e9nario probabiliste particuli\u00e8rement improbable (survenant dans moins d’un cas sur vingt sous le r\u00e8gne strict du hasard). En vertu d’un principe de parcimonie scientifique appliqu\u00e9 \u00e0 la structure probabiliste des donn\u00e9es, la communaut\u00e9 de recherche juge alors plus l\u00e9gitime d’abandonner le postulat d’\u00e9galit\u00e9 que de persister \u00e0 invoquer une conjonction fortuite exceptionnelle.<\/p>\n Toutefois, cette \u00e9viction du hasard brut ne valide l’hypoth\u00e8se de recherche substantive que si l’ensemble des hypoth\u00e8ses auxiliaires de la recherche demeurent intactes. Comme l’a soulign\u00e9 l’\u00e9pist\u00e9mologue Pierre Duhem<\/a>, un test statistique ne met jamais \u00e0 l’\u00e9preuve une hypoth\u00e8se isol\u00e9e, mais tout un ensemble solidaire de pr\u00e9misses comprenant :<\/p>\n Si l’une quelconque de ces hypoth\u00e8ses auxiliaires est viol\u00e9e, la p-valeur inf\u00e9rieure \u00e0 0,05 peut simplement refl\u00e9ter une d\u00e9faillance m\u00e9thodologique locale, et non la r\u00e9alit\u00e9 psychologique du m\u00e9canisme conceptualis\u00e9 dans H<\/em>1<\/sub>.<\/p>\n L’architecture de la d\u00e9cision inf\u00e9rentielle classique repose sur une matrice de contingence \u00e0 deux \u00e9tats du monde et deux d\u00e9cisions possibles. Au c\u0153ur des pr\u00e9occupations th\u00e9oriques pr\u00e9sidant \u00e0 l’\u00e9tablissement du seuil de 0,05 se trouve l’erreur de Type I (ou erreur de premi\u00e8re esp\u00e8ce), classiquement d\u00e9sign\u00e9e par le symbole α. Cette erreur se mat\u00e9rialise lorsque l’exp\u00e9rimentateur rejette l’hypoth\u00e8se nulle alors que cette derni\u00e8re est, en r\u00e9alit\u00e9 ontologique, rigoureusement vraie dans la population cible.<\/p>\n L’erreur de Type I repr\u00e9sente le \u00ab faux positif \u00bb de la science exp\u00e9rimentale. Dans le contexte de la psychologie clinique ou de la neuropsychologie, ses r\u00e9percussions appliqu\u00e9es peuvent \u00eatre redoutables : elle conduit \u00e0 affirmer publiquement l’efficacit\u00e9 d’une approche th\u00e9rapeutique qui s’av\u00e8re en r\u00e9alit\u00e9 inerte, orientant ind\u00fbment des protocoles de soins vers des voies sans issue, mobilisant des financements publics \u00e0 perte, et causant potentiellement un pr\u00e9judice direct aux patients priv\u00e9s d’alternatives v\u00e9ritablement valid\u00e9es. Dans la recherche fondamentale en psychologie cognitive, l’erreur de premi\u00e8re esp\u00e8ce pollue le corpus scientifique avec des effets chim\u00e9riques que d’autres \u00e9quipes peineront \u00e0 r\u00e9pliquer au cours de d\u00e9cennies d’efforts infructueux.<\/p>\n Il est fondamental de rappeler que la valeur nominale α = 0,05 ne garantit la limitation des faux positifs \u00e0 5 % que sous l’hypoth\u00e8se stricte d’un test unique, parfaitement pr\u00e9-sp\u00e9cifi\u00e9, men\u00e9 sans interventions exploratoires opportunistes. D\u00e8s lors que l’exp\u00e9rimentateur multiplie les tests d’hypoth\u00e8ses sur un m\u00eame ensemble de donn\u00e9es sans ajuster son seuil critique par des proc\u00e9dures appropri\u00e9es (telles que les corrections de Bonferroni ou de Holm-\u0160id\u00e1k), le risque r\u00e9el cumul\u00e9 de commettre au moins une erreur de Type I\u2014appel\u00e9 risque d’erreur par famille d’hypoth\u00e8ses (Family-Wise Error Rate<\/em>, ou FWER)\u2014cro\u00eet de fa\u00e7on exponentielle selon l’\u00e9quation αFWER<\/sub> = 1 – (1 – α)k<\/em><\/sup>, o\u00f9 k<\/em> repr\u00e9sente le nombre de comparaisons ind\u00e9pendantes ex\u00e9cut\u00e9es.<\/p>\n L’universalit\u00e9 presque dogmatique accord\u00e9e au seuil critique de 0,05 trouve son origine directe dans les travaux du biologiste et statisticien britannique Sir Ronald Aylmer Fisher<\/a> au cours des ann\u00e9es 1920. Dans son ouvrage magistral Statistical Methods for Research Workers<\/em>, publi\u00e9 pour la premi\u00e8re fois en 1925, Fisher cherchait \u00e0 doter les biologistes et agronomes d’outils calculatoires simples et standardis\u00e9s pour appr\u00e9cier la variabilit\u00e9 exp\u00e9rimentale sans devoir recalculer d’interminables tables d’int\u00e9gration num\u00e9rique.<\/p>\n Dans ce contexte historique, Fisher proposa de consid\u00e9rer le niveau de d\u00e9viation correspondant \u00e0 deux \u00e9carts-types au-del\u00e0 de la moyenne sur une loi normale (approximativement 1,96 \u00e9cart-type pour un test bilat\u00e9ral) comme un rep\u00e8re commode dans la pratique scientifique quotidienne. Cette distance d’environ deux \u00e9carts-types englobe approximativement 95 % de la distribution, laissant subsister une fraction r\u00e9siduelle de 5 %, soit une probabilit\u00e9 de survenue de 1 sur 20. Fisher \u00e9crivait alors qu’il convenait de prendre ce point critique comme une convention arbitraire mais raisonnable pour tracer la fronti\u00e8re entre les effets dignes de consid\u00e9ration empirique et les simples fluctuations al\u00e9atoires.<\/p>\n Il est crucial de souligner que dans l’esprit de Fisher, ce seuil de 1 sur 20 ne rev\u00eatait aucun caract\u00e8re sacr\u00e9 ni absolu. Pour lui, la p-valeur constituait une \u00e9valuation fluide et purement \u00e9pist\u00e9mique : un r\u00e9sultat affichant p<\/em> < 0,05 devait simplement servir de \u00ab signal d’alerte \u00bb intellectuel, invitant le chercheur \u00e0 examiner de plus pr\u00e8s le ph\u00e9nom\u00e8ne sous-jacent et, surtout, \u00e0 concevoir d’autres exp\u00e9riences pour v\u00e9rifier la p\u00e9rennit\u00e9 de l’observation. Fisher rejetait explicitement l’id\u00e9e que l’on puisse sceller d\u00e9finitivement la v\u00e9rit\u00e9 d’une d\u00e9couverte scientifique sur la base d’une seule \u00e9tude franchissant de justesse cette fronti\u00e8re probabiliste.<\/p>\n Au fil de la seconde moiti\u00e9 du XXe si\u00e8cle, la psychologie scientifique a connu un processus d’institutionnalisation acad\u00e9mique massif, caract\u00e9ris\u00e9 par la fusion paradoxale et m\u00e9thodologiquement hybride de deux approches rivales : la logique du test de signification de Fisher d’une part, et le cadre d\u00e9cisionnel rigide de Neyman-Pearson d’autre part. Cette synth\u00e8se m\u00e9thodologique, souvent qualifi\u00e9e par les historiens des sciences de \u00ab rituel de la signification statistique \u00bb, a \u00e9rig\u00e9 la r\u00e8gle du p<\/em> < 0,05 au rang d’orthodoxie institutionnelle inviolable.<\/p>\n Ce processus d’ancrage a \u00e9t\u00e9 consid\u00e9rablement acc\u00e9l\u00e9r\u00e9 par deux vecteurs sociologiques et techniques :<\/p>\n Cette canonisation institutionnelle a progressivement transform\u00e9 un rep\u00e8re heuristique pragmatique en un imp\u00e9ratif de carri\u00e8re acad\u00e9mique. L’acc\u00e8s aux postes universitaires, l’obtention de bourses de recherche substantielle et la reconnaissance acad\u00e9mique se sont trouv\u00e9s index\u00e9s sur la capacit\u00e9 des chercheurs \u00e0 extraire de leurs donn\u00e9es des p-valeurs inf\u00e9rieures \u00e0 ce seuil tot\u00e9mique, cr\u00e9ant un puissant syst\u00e8me d’incitations perverses au d\u00e9triment de la r\u00e9plication syst\u00e9matique et de la robustesse th\u00e9orique.<\/p>\n Face \u00e0 l’ampleur sans pr\u00e9c\u00e9dent de la crise de la r\u00e9plication mise en lumi\u00e8re au tournant des ann\u00e9es 2010 dans les sciences du comportement, la pertinence du maintien du seuil historique de 0,05 a fait l’objet de remises en cause frontales de la part de m\u00e9thodologistes de premier plan. Dans un article programmatique retentissant sign\u00e9 par soixante-douze m\u00e9thodologistes et statisticiens, Benjamin et al. (2018)<\/a> ont formul\u00e9 une proposition radicale : abaisser le seuil par d\u00e9faut de la significativit\u00e9 statistique pour les d\u00e9couvertes in\u00e9dites de 0,05 \u00e0 0,005<\/strong>.<\/p>\n L’argumentation sous-tendant cette revendication repose sur une d\u00e9monstration probabiliste implacable relative au ratio de fausses d\u00e9couvertes. Les analyses bay\u00e9siennes et fr\u00e9quentistes convergent pour d\u00e9montrer qu’une p-valeur situ\u00e9e juste en dessous de 0,05 (par exemple entre 0,01 et 0,049) n’apporte qu’une preuve \u00e9tonnamment faible contre l’hypoth\u00e8se nulle. Si la probabilit\u00e9 a priori que l’hypoth\u00e8se de recherche soit vraie est mod\u00e9r\u00e9e \u00e0 faible (ce qui est le cas de nombreuses th\u00e9ories audacieuses en psychologie), un r\u00e9sultat avec p<\/em> ≈ 0,04 est assorti d’une probabilit\u00e9 a posteriori de faux positif pouvant atteindre 30 % \u00e0 50 %. En abaissant le seuil \u00e0 0,005, la probabilit\u00e9 d’erreur de premi\u00e8re esp\u00e8ce est drastiquement comprim\u00e9e, alignant la force de la preuve statistique sur des standards plus comparables \u00e0 ceux des sciences physiques.<\/p>\n Cette proposition de red\u00e9finition n’a cependant pas fait l’unanimit\u00e9. Dans une r\u00e9plique articul\u00e9e par Lakens et al. (2018)<\/a>, regroupant plus de quatre-vingts chercheurs internationaux, de s\u00e9rieux contre-arguments ont \u00e9t\u00e9 soulev\u00e9s. Abaisser m\u00e9caniquement le seuil \u00e0 0,005 sans modification des financements exigerait d’accro\u00eetre la taille des \u00e9chantillons d’environ 70 % pour pr\u00e9server une puissance statistique identique. Cela risquerait d’\u00e9touffer financi\u00e8rement les laboratoires aux ressources modestes, d’accentuer le monopole des m\u00e9gastructures de recherche, et surtout d’augmenter vertigineusement le taux d’erreurs de Type II (omission d’effets r\u00e9els mais de magnitude modeste), tout en ignorant la racine profonde du probl\u00e8me : l’usage dogmatique et binaire des seuils probabilistes.<\/p>\n Afin d’ancrer ces consid\u00e9rations math\u00e9matiques dans la r\u00e9alit\u00e9 clinique, examinons un premier protocole exp\u00e9rimental standard. Une \u00e9quipe de recherche en psychologie clinique souhaite tester la sup\u00e9riorit\u00e9 d’une intervention br\u00e8ve de Th\u00e9rapie Cognitivo-Comportementale (TCC), ax\u00e9e sur l’exposition et la restructuration cognitive, comparativement \u00e0 un groupe t\u00e9moin inscrit sur liste d’attente avec suivi passif standardis\u00e9.<\/p>\n1.2 Formulation des hypoth\u00e8ses statistiques : Hypoth\u00e8se nulle (H0) et alternative (H1)<\/h3>\n
1.3 D\u00e9finition math\u00e9matique et conceptuelle de la p-valeur<\/h3>\n
2. D\u00e9finition rigoureuse d’une p-valeur inf\u00e9rieure \u00e0 0,05<\/h2>\n
2.1 Signification statistique exacte du seuil alpha de 5 %<\/h3>\n
2.2 Degr\u00e9 de compatibilit\u00e9 entre les donn\u00e9es empiriques et le mod\u00e8le nul<\/h3>\n
2.3 Dichotomie statistique versus continuit\u00e9 probabiliste<\/h3>\n
\n
3. La m\u00e9canique d\u00e9cisionnelle : Rejet de H0 et acceptation empirique de H1<\/h2>\n
3.1 La r\u00e8gle de d\u00e9cision de Neyman-Pearson<\/h3>\n
\n
3.2 R\u00e9futation de l’hypoth\u00e8se du hasard seul<\/h3>\n
\n
3.3 Erreurs de d\u00e9cision : Focus sur l’erreur de Type I (alpha)<\/h3>\n
4. Origines historiques et justification du seuil critique de 0,05<\/h2>\n
4.1 La contribution fondatrice de Ronald A. Fisher<\/h3>\n
4.2 Institutionnalisation de la convention dans les sciences du comportement<\/h3>\n
\n
4.3 D\u00e9bats \u00e9pist\u00e9mologiques et propositions d’abaissement du seuil \u00e0 0,005<\/h3>\n
5. Exemple pratique 1 : \u00c9valuation de l’efficacit\u00e9 d’une psychoth\u00e9rapie sur l’anxi\u00e9t\u00e9<\/h2>\n
5.1 Contexte exp\u00e9rimental, m\u00e9trologie et formulation des hypoth\u00e8ses<\/h3>\n