Taux d’erreur par comparaison : Maîtriser l’alpha

Dans la démarche hypothético-déductive qui structure la recherche contemporaine en psychologie et en sciences du comportement, la gestion de l’incertitude statistique constitue le pivot sur lequel repose toute inférence scientifique. Le taux d’erreur par comparaison incarne le seuil fondamental de tolérance face aux faux positifs, déterminant avec quelle rigueur une hypothèse spécifique est déclarée statistiquement significative. Comprendre ses mécanismes, ses fondements mathématiques et ses interactions avec le risque d’erreur global représente un prérequis méthodologique indispensable pour tout chercheur soucieux d’éviter les dérives de l’inflation de l’erreur et de préserver la réplicabilité des données empiriques.

Taux d’erreur par comparaison

1. Définition concise

Le taux d’erreur par comparaison (fréquemment désigné par le sigle anglophone CER pour Comparison-wise Error Rate ou PCER pour Per-Comparison Error Rate) représente la probabilité de commettre une erreur de première espèce lors de la réalisation d’un test statistique individuel spécifique, sous l’hypothèse que l’hypothèse nulle associée à cette comparaison particulière est strictement vraie. En d’autres termes, il quantifie le risque alpha (erreur de type I) alloué de manière isolée à un contraste, une corrélation ou une confrontation unitaire de moyennes, indépendamment du nombre total de tests réalisés au sein de l’étude globale.

Dans le paradigme classique de l’inférence de Neyman-Pearson, ce taux est conventionnellement fixé a priori par l’expérimentateur, le plus souvent à la valeur nominale de 0,05 (α = 5 %). Cela signifie que pour chaque analyse isolée, le chercheur accepte une probabilité de 5 % de rejeter à tort l’absence de différence ou d’effet. Contrairement au taux d’erreur par famille d’hypothèses, qui agrège et cumule ce risque sur un ensemble de comparaisons simultanées, le taux d’erreur par comparaison évalue la stricte validité probabiliste de l’épreuve analytique prise isolément, sans correction compensatoire liée à la multiplicité.

2. Étymologie et origines linguistiques

L’expression découle directement du vocabulaire inférentiel forgé au cours du vingtième siècle par la biométrie et les sciences agronomiques anglo-saxonnes. Le substantif « taux » procède du bas latin taxare, signifiant « évaluer », « fixer une valeur » ou « estimer avec rigueur ». Le terme « erreur » trouve sa source dans le latin classique error (« errance », « fausse route », « égarement »), employé ici au sens épistémique d’un jugement non conforme à la réalité sous-jacente de la population mère.

La précision « par comparaison » dérive du latin comparatio, issu du verbe comparare (« accoupler », « mettre en parallèle », « confronter deux éléments »). Dans le contexte épistémologique de la psychologie différentielle et expérimentale, la formule est venue formaliser la distinction nécessaire entre l’évaluation locale d’un contraste singulier et la gestion probabiliste globale d’un protocole complexe comportant de multiples facettes d’observation. Elle a été stabilisée dans la littérature francophone en traduction directe des concepts canoniques de Tukey et de ses pairs des années 1950.

3. Prononciation et forme grammaticale

Sur le plan phonétique et grammatical, le syntagme s’énonce /to dɛ.ʁœʁ paʁ kɔ̃.pa.ʁɛ.zɔ̃/ en français standard. Il s’agit d’une locution nominale masculine singulière. Dans les écrits statistiques et psychométriques, on rencontre parfois les variantes synonymiques « risque d’erreur par comparaison », « taux d’erreur par test unitaire » ou « taux d’erreur individuel ».

Au pluriel, l’expression devient « taux d’erreur par comparaison » (le mot « taux » étant invariable en genre et en nombre, tandis que « comparaison » peut prendre la marque du pluriel selon que l’on insiste sur l’ensemble des comparaisons distinctes ou sur la modalité distributive). L’abréviation technique usuelle dans les revues académiques françaises alterne entre le symbole α_C (α de comparaison) et l’acronyme hérité de la littérature internationale, PCER.

4. Explication conceptuelle détaillée

Pour appréhender la portée épistémologique du taux d’erreur par comparaison, il convient de replacer l’inférence statistique dans son cadre décisionnel standard. Lorsque des chercheurs examinent l’efficacité d’une nouvelle thérapie cognitive et comportementale en confrontant plusieurs groupes (par exemple : groupe contrôle sous liste d’attente, groupe sous traitement standard et groupe sous protocole innovant), ils procèdent à des tests d’hypothèses pour déterminer si les variations observées sur les scores d’anxiété reflètent de véritables effets psychologiques ou de simples fluctuations d’échantillonnage.

Lorsqu’un chercheur formule une hypothèse nulle spécifique (notée H₀ : μ₁ = μ₂), le taux d’erreur par comparaison correspond exactement à la probabilité conditionnelle α = P(Rejeter H₀ | H₀ est vraie). Ce paramètre définit la surface critique de la distribution d’échantillonnage au-delà de laquelle la statistique observée (par exemple un t de Student ou un F de Fisher) est considérée comme suffisamment invraisemblable pour justifier l’abandon de l’hypothèse de nullité. La caractéristique déterminante du taux d’erreur par comparaison est son étanchéité théorique : il est calculé comme si chaque test constituait un univers décisionnel hermétique.

Cependant, ce cloisonnement conceptuel génère une tension fondamentale dès lors qu’un protocole expérimental engendre plusieurs comparaisons. Si une recherche implique trois groupes, elle suscite trois comparaisons deux à deux indépendantes ou partiellement redondantes. Si chaque test est conduit avec un taux d’erreur par comparaison α_C = 0,05, la probabilité de ne commettre aucune erreur de première espèce sur l’ensemble des trois tests orthogonaux s’établit à (1 – 0,05)³ = 0,95³ ≈ 0,857. Par conséquent, la probabilité d’observer au moins un faux positif s’élève à 1 – 0,857 = 0,143, soit plus de 14 %.

Le taux d’erreur par comparaison doit donc être rigoureusement distingué de cette inflation globale. Alors que le taux d’erreur par famille (FWER, Family-Wise Error Rate) surveille le risque agrégé sur la collection entière d’hypothèses, le taux d’erreur par comparaison se focalise exclusivement sur la sensibilité analytique de la confrontation unitaire. Choisir de maintenir le taux d’erreur par comparaison à son niveau nominal sans ajustement garantit une puissance statistique maximale pour chaque contraste individuel, mais expose l’expérimentateur à un accroissement proportionnel du nombre de découvertes fallacieuses à l’échelle du projet scientifique dans son ensemble.

5. Évolution historique

La formalisation du taux d’erreur par comparaison s’inscrit dans l’histoire des controverses fondatrices de la statistique inférentielle durant la première moitié du vingtième siècle. Initialement, les travaux pionniers de Ronald A. Fisher dans les années 1920 et 1930 introduisent le concept de seuil de signification (le fameux p < 0,05) conçu comme un indicateur informel de la force de la preuve contre l’hypothèse nulle pour une expérience donnée, sans théoriser de manière stricte la multiplication sérielle des contrastes.

C’est avec l’avènement du modèle décisionnel de Jerzy Neyman et Egon Pearson à la fin des années 1920 que la notion d’erreur de première espèce acquiert un statut quantitatif rigide, défini comme un taux de rejet erroné à long terme dans le cadre de tests répétés. Toutefois, ces pionniers raisonnaient principalement sur l’exécution d’un test unique opposant une hypothèse nulle à une hypothèse alternative bien formulée.

L’essor de l’analyse de la variance (ANOVA) et son adoption massive par la psychologie expérimentale américaine au sortir de la Seconde Guerre mondiale mirent en lumière une lacune méthodologique majeure : le rejet d’une hypothèse nulle globale (affirmant l’égalité générale de plusieurs moyennes) nécessitait des analyses complémentaires dites post hoc pour localiser précisément les différences de moyennes. Des statisticiens éminents tels que John Tukey, Henry Scheffé, David Duncan et Charles Dunnett démontrèrent, dès les années 1950, que l’utilisation répétée du t de Student classique au taux nominal par comparaison entraînait une explosion catastrophique des faux positifs.

John Tukey proposa explicitement de distinguer le taux d’erreur par comparaison du taux d’erreur par famille d’expériences (experiment-wise error rate). Cette période a marqué le début d’un débat persistant : fallait-il assujettir chaque question de recherche à la rigueur punitive des corrections familiales, ou préserver l’autonomie du taux d’erreur par comparaison lorsque les hypothèses étaient planifiées a priori sur une base théorique forte ? Dans les décennies 1970 et 1980, des auteurs comme Kirk et Keppel ont théorisé les conditions sous lesquelles le taux par comparaison pouvait être maintenu sans correction, fixant les règles de l’art qui guident encore la recherche contemporaine en psychométrie et en neurosciences.

6. Fondements théoriques

Les fondements théoriques du taux d’erreur par comparaison reposent sur la théorie des probabilités appliquées aux espaces décisionnels et sur la distribution théorique des estimateurs. Lorsqu’une variable aléatoire continue est mesurée au sein d’échantillons indépendants tirés de populations gaussiennes, la statistique de test associée suit une distribution d’échantillonnage connue (telle que la distribution de Student ou la distribution standardisée normale).

La régulation du taux d’erreur par comparaison s’établit par l’intermédiaire de la fonction d’efficacité du test. Si l’on désigne par θ le paramètre réel de la population et par Θ₀ l’espace délimité par l’hypothèse nulle, le taux d’erreur par comparaison est formellement spécifié par :

α_C = sup_{θ ∈ Θ0} P_θ(Rejeter H₀)

Cette formulation indique que le taux par comparaison représente la borne supérieure de la probabilité de commettre un faux positif lorsque l’état réel du phénomène relève de l’hypothèse nulle. Dans cette optique, l’ancrage théorique du taux par comparaison privilégie la protection locale de l’inférence. L’unité d’analyse fondamentale est la proposition théorique singulière : l’expérimentateur évalue si une affirmation précise (par exemple, « les participants privés de sommeil ont un temps de réaction moyen plus long que les participants témoins ») est étayée par les données avec un risque d’erreur contrôlé.

Sur le plan épistémologique, ce positionnement s’adosse au faillibilisme poppérien appliqué à petite échelle. Chaque test d’hypothèse constitue une tentative de réfutation d’une proposition nulle isolée. L’argumentaire en faveur de la conservation du taux d’erreur par comparaison postule que pénaliser un test spécifique en raison du nombre d’autres questions investiguées dans le même laboratoire ou le même article relève d’un artifice méthodologique qui fausse le rapport de vraisemblance entre les données empiriques et l’hypothèse examinée.

7. Composantes clés, typologies et dimensions

Pour délimiter précisément l’usage et les implications du taux d’erreur par comparaison, il est nécessaire de le décomposer selon ses interactions et ses contrastes opérationnels :

• Taux d’erreur nominal vs taux effectif : Le taux nominal correspond au seuil théorique sélectionné par le chercheur (le plus souvent 5 %), tandis que le taux effectif représente la probabilité réelle de commettre une erreur de première espèce lorsque certaines hypothèses sous-jacentes du modèle statistique (normalité des résidus, homoscédasticité, indépendance) sont violées.
• Taux d’erreur par comparaison (PCER) : Probabilité de faux positif calculée strictement à l’échelle d’une comparaison unitaire prise isolément, sans ajustement mathématique lié au nombre total d’épreuves.
• Taux d’erreur par famille (FWER) : Probabilité globale d’observer au moins un faux positif parmi une constellation structurée d’hypothèses interdépendantes ou conjointes (la « famille » de tests).
• Taux d’erreur pour l’expérience globale (EER) : Variante élargie du FWER, englobant l’intégralité des tests effectués au sein d’une publication ou d’un protocole complexe, indépendamment de leur regroupement thématique.
• Taux de fausse découverte (FDR) : Proportion attendue de faux positifs parmi l’ensemble des tests déclarés significatifs, approche alternative initiée par Benjamini et Hochberg qui déplace le contrôle de l’ensemble des hypothèses nulles vers les seules découvertes revendiquées.
• Directionnalité du test : Le taux d’erreur par comparaison peut être unilatéral (réparti sur une seule queue de la distribution pour tester une hypothèse directionnelle orientée) ou bilatéral (divisé de manière symétrique entre les deux extrémités de la courbe de densité).

8. Exemples et cas illustratifs

Considérons une investigation clinique en neuropsychologie évaluant les effets de quatre interventions de remédiation cognitive distinctes sur la flexibilité mentale de patients ayant subi un traumatisme crânien léger. L’échantillon est réparti en cinq groupes : un groupe contrôle sans traitement actif (G0) et quatre groupes expérimentaux (G1 : entraînement informatisé, G2 : médiation métacognitive, G3 : stimulation combinée, G4 : activité aérobie structurée). L’analyste prévoit de comparer chacun des quatre groupes expérimentaux au groupe contrôle.

Si l’analyste décide d’opérer au niveau du taux d’erreur par comparaison, il applique à chaque contraste (G1 vs G0, G2 vs G0, G3 vs G0, G4 vs G0) un seuil critique standard de α_C = 0,05. Supposons que pour le contraste G2 vs G0, la valeur p observée soit de 0,038. Selon l’approche par comparaison, ce résultat est proclamé statistiquement significatif au seuil de 5 %. Le clinicien conclut que la médiation métacognitive produit un gain notable par rapport à l’absence de prise en charge, avec un risque résiduel de 5 % que cette différence résulte du seul hasard d’échantillonnage.

En revanche, si l’on examine la situation sous l’angle du taux d’erreur par famille, la probabilité cumulée de déclarer à tort au moins une intervention efficace alors qu’aucune ne le serait s’élève à 1 – (1 – 0,05)⁴ = 1 – 0,95⁴ ≈ 0,185 (soit 18,5 %). Si une correction de Bonferroni était exigée, le seuil ajusté par comparaison tomberait à 0,05 / 4 = 0,0125. Dans ce scénario corrigé, la valeur p de 0,038 serait jugée non significative, illustrant le dilemme : l’adoption rigide du taux par comparaison préserve la sensibilité clinique locale mais majore l’incertitude décisionnelle à l’échelle du projet global.

Un autre exemple typique concerne les études observationnelles en psychologie de la personnalité. Lorsqu’un inventaire mesurant les cinq grands facteurs de la personnalité (modèle du Big Five) est corrélé avec dix indicateurs d’adaptation professionnelle, un total de 50 coefficients de corrélation de Pearson est calculé. Évaluer chacune de ces 50 corrélations au taux d’erreur par comparaison de 0,05 conduit mathématiquement à espérer en moyenne 50 × 0,05 = 2,5 corrélations « statistiquement significatives » par pur bruit aléatoire, même si la matrice de corrélation théorique sous-jacente est rigoureusement nulle.

9. Mesure, calcul et évaluation

Le contrôle et l’évaluation du taux d’erreur par comparaison s’opèrent par le calcul exact de la valeur p (ou probabilité critique) associée à la statistique d’épreuve observée. La règle de décision s’énonce selon un algorithme binaire strict : si la valeur p empirique calculée à partir des données d’échantillon est inférieure ou égale au taux d’erreur nominal choisi (α_C), l’hypothèse nulle est rejetée en faveur de l’hypothèse alternative.

La formule reliant le taux d’erreur par comparaison (α_C) au taux d’erreur par famille (α_F), sous la condition stricte que les k comparaisons soient mutuellement indépendantes (orthogonalité parfaite), s’écrit :

α_F = 1 – (1 – α_C)^k

Réciproquement, si un chercheur souhaite garantir un taux d’erreur par famille prédéterminé (α_F) tout en calculant le taux d’erreur par comparaison requis pour chaque test unitaire, il peut appliquer la correction exacte de Sidák :

α_C = 1 – (1 – α_F)^1/k

Dans les situations où l’indépendance parfaite des tests n’est pas vérifiée — ce qui représente la norme quasi absolue en psychologie clinique, différentielle ou cognitive, en raison de l’intercorrélation intrinsèque des mesures comportementales —, la relation exacte cède le pas à l’inégalité de Boole-Bonferroni, qui offre une borne supérieure conservatrice :

α_F ≤ ∑_i=1^k α_C,i = k × α_C

Pour évaluer si le taux d’erreur par comparaison effectif respecte le seuil nominal, les méthodologues utilisent massivement des simulations de Monte Carlo. Ces procédures génèrent des dizaines de milliers d’échantillons aléatoires sous l’hypothèse nulle exacte, calculent la statistique d’intérêt sur chaque réplique et dénombrent la proportion d’épreuves dépassant le seuil critique. Si la proportion simulée s’écarte significativement de la valeur nominale visée, le test est qualifié de libéral (s’il produit trop de faux rejets) ou de conservateur (s’il en produit moins que prévu, réduisant d’autant la puissance du test).

10. Applications et pertinence pratique

La décision de s’en tenir au taux d’erreur par comparaison sans introduire d’ajustements correctifs intervient dans plusieurs contextes fondamentaux de la pratique psychologique et psychométrique :

En premier lieu, le taux d’erreur par comparaison est formellement recommandé lors des analyses confirmatoires reposant sur des hypothèses planifiées a priori. Lorsqu’un protocole expérimental est rigoureusement ancré dans un modèle théorique préexistant et qu’un nombre restreint de contrastes spécifiques a été préenregistré, appliquer des corrections destinées aux explorations fortuites pénalise injustement le chercheur en effondrant sa puissance statistique. Dans cette configuration, chaque test répond à une interrogation conceptuelle distincte et autonome, justifiant le maintien du taux individuel à son niveau conventionnel de 5 %.

En deuxième lieu, dans les phases précoces de la recherche clinique ou du développement pharmacologique et thérapeutique (études pilotes de phase I et II), la priorité méthodologique est souvent inversée. L’objectif cardinal consiste à éviter l’erreur de seconde espèce (erreur bêta), c’est-à-dire l’omission d’un effet potentiellement bénéfique mais modeste. Les méthodologistes privilégient alors le maintien du taux d’erreur par comparaison à 0,05, voire tolèrent des seuils plus élevés, afin de maximiser la sensibilité du crible diagnostique ou thérapeutique, quitte à éliminer les faux positifs lors d’investigations confirmatoires ultérieures de plus grande envergure.

En troisième lieu, dans le cadre de la construction et de la validation transculturelle d’outils d’évaluation psychométrique, l’analyse d’invariance de mesure à travers divers groupes culturels ou sociodémographiques amène à tester de multiples paramètres d’items (seuils, charges factorielles, résidus). Bien que des stratégies globales existent, de nombreux praticiens examinent chaque indice de modification au taux d’erreur par comparaison afin de détecter avec une finesse clinique maximale les items présentant un fonctionnement différentiel susceptible de biaiser le diagnostic d’un individu.

11. Recherche et données empiriques

L’usage du taux d’erreur par comparaison a fait l’objet d’intenses débats empiriques, particulièrement alimentés par la crise de la réplicabilité qui a frappé la psychologie expérimentale et sociale à partir du début des années 2010. Les travaux fondateurs de Simmons, Nelson et Simonsohn (2011) sur les « degrés de liberté non déclarés des chercheurs » (researcher degrees of freedom) ont documenté de manière spectaculaire comment l’évaluation d’une multitude de combinaisons de variables dépendantes et de conditions expérimentales au taux d’erreur individuel par comparaison non corrigé permettait d’atteindre un taux de faux positifs effectif supérieur à 60 % pour une seule et même publication, tout en affichant formellement des p < 0,05 irréprochables.

Des réanalyses massives conduites dans le cadre de l’Open Science Collaboration (2015) ont révélé que les études ayant conduit de nombreuses comparaisons sans ajustement présentaient les taux de réplication empirique les plus faibles lors de tentatives de reconduction indépendante. Ces données ont confirmé les avertissements historiques émis dès 1994 par Jacob Cohen dans son article canonique « The Earth is Round (p < .05) », où il fustigeait l’illusion de certitude conférée par l’examen isolé de contrastes statistiques dépourvus de perspective globale sur la taille de l’effet et la probabilité a priori des hypothèses formulées.

Parallèlement, la recherche en biostatistique computationnelle et en génomique comportementale (notamment les études d’association à l’échelle du génome ou GWAS, reliant des polymorphismes génétiques à des traits psychopathologiques comme la schizophrénie ou les troubles du spectre autistique) a apporté la démonstration définitive de l’inadéquation du taux par comparaison brut dans les contextes à haute dimensionnalité. Avec un million de comparaisons simultanées, un taux d’erreur par comparaison conventionnel de 0,05 génère mécaniquement 50 000 faux positifs. Ce constat a conduit à la normalisation de seuils par comparaison extrêmement sévères, abaissés à p < 5 × 10^-8 dans ces disciplines, démontrant l’extrême plasticité et la contingence méthodologique du seuil par test en fonction de la structure des données explorées.

12. Considérations culturelles et transdisciplinaires

La tolérance et la préférence accordées au taux d’erreur par comparaison varient sensiblement d’un champ disciplinaire à un autre, reflétant des traditions épistémologiques et des contraintes pratiques hétérogènes. En psychologie cognitive expérimentale, caractérisée par des protocoles intra-sujets très standardisés et des hypothèses prédictives très pointues issues de modélisations computationnelles, l’utilisation du taux d’erreur par comparaison pour tester des contrastes prédéfinis sans correction punitive demeure largement acceptée et défendue.

À l’opposé, la recherche biomédicale, l’épidémiologie psychiatrique et la recherche clinique évaluée par les organismes de régulation (comme l’Agence Européenne des Médicaments ou la FDA américaine) imposent une régulation stricte du taux d’erreur par famille pour tout essai clinique contrôlé randomisé comportant des critères de jugement multiples ou des analyses en sous-groupes. Dans ces contextes où la mise sur le marché d’une molécule ou l’homologation d’une thérapie engage la santé publique et la sécurité des patients, le risque associé à un faux positif est jugé disproportionnellement plus dommageable qu’un faux négatif.

Sur le plan international, les communautés scientifiques adoptent également des sensibilités nuancées face aux réformes statistiques. Si les écoles anglo-saxonnes et scandinaves ont massivement souscrit à l’enregistrement préalable des protocoles (preregistration) afin de figer les comparaisons prévues avant la collecte des données et de légitimer ainsi le taux d’erreur unitaire, certaines traditions de recherche francophones ou d’Europe continentale ont maintenu une posture plus clinique et phénoménologique, privilégiant la découverte qualitative d’effets inattendus quitte à réévaluer ultérieurement la robustesse statistique des patterns émergents.

13. Critiques, débats et limites

L’utilisation exclusive ou non maîtrisée du taux d’erreur par comparaison concentre un ensemble de critiques épistémologiques substantielles :

Le principal reproche adressé à l’absence de correction porte sur le phénomène du p-hacking ou exploration opportuniste des données (data dredging). Lorsqu’un protocole n’est pas préenregistré, l’évaluation de multiples variables au taux par comparaison offre une latitude discrétionnaire considérable à l’investigateur, qui peut choisir de ne publier que les seules confrontations franchissant le seuil magique de p < 0,05 en occultant les tests négatifs. Ce biais de publication interne détruit la valeur probabiliste du taux par comparaison affiché.

Néanmoins, les partisans inconditionnels du taux d’erreur par comparaison soulèvent des contre-arguments tout aussi vigoureux à l’encontre des procédures de contrôle familial. La critique la plus virulente souligne l’arbitraire complet qui préside à la définition d’une « famille » de tests. Faut-il regrouper les hypothèses testées au sein d’un même tableau statistique, d’une même section de résultats, d’un article complet, ou sur l’ensemble de la carrière d’un chercheur ? Cette indétermination rend la sévérité du seuil ajusté entièrement tributaire de décisions éditoriales subjectives. De surcroît, le contrôle aveugle du taux familial dégrade drastiquement la puissance statistique, multipliant de manière alarmante les erreurs de type II (faux négatifs) et interdisant la détection d’effets thérapeutiques ou cognitifs bien réels mais d’intensité modeste.

Face à cette impasse, une part croissante de la communauté scientifique préconise de dépasser la dichotomie rigide induite par le rejet ou l’acceptation fondés sur un seuil α, pour adopter des approches centrées sur l’estimation précise des tailles d’effet accompagnées de leurs intervalles de confiance, ou pour migrer vers l’inférence bayésienne, qui substitue au contrôle fréquentiste des faux rejets le calcul direct de la distribution a posteriori des probabilités des hypothèses au vu des données collectées.

14. Termes connexes et distinctions conceptuelles

Pour clarifier sans ambiguïté la place du taux d’erreur par comparaison dans l’arsenal conceptuel de la statistique inférentielle, il convient de le confronter aux notions limitrophes :

• Taux d’erreur par comparaison vs Taux d’erreur par famille (FWER) : Le premier quantifie le risque d’erreur de type I associé à un test statistique unique et indépendant, tandis que le second mesure la probabilité d’observer au moins une erreur de première espèce sur un groupe entier d’analyses connexes.
• Taux d’erreur par comparaison vs Taux de fausse découverte (FDR) : Le taux par comparaison régule la proportion de rejets injustifiés sous l’hypothèse nulle globale, alors que le FDR contrôle la proportion de fausses alertes parmi l’ensemble des résultats déclarés significatifs, offrant un compromis plus libéral et puissant face aux jeux de données volumineux.
• Taux d’erreur par comparaison vs Valeur p : Le taux d’erreur par comparaison est un seuil de décision fixe, établi a priori avant toute observation des données, tandis que la valeur p est une mesure continue de compatibilité, calculée a posteriori sur l’échantillon recueilli.
• Taux nominal vs Taux d’erreur empirique : Le taux nominal est la cible théorique (souvent 5 %), tandis que le taux empirique est la fréquence réelle de faux rejets observée lors d’expérimentations répétées ou de modélisations de Monte Carlo.
• Taux d’erreur de type I vs Taux d’erreur de type II (β) : Le taux de type I encadre le rejet erroné d’une hypothèse vraie, tandis que le taux de type II quantifie l’incapacité à déceler un effet réel (non-rejet d’une hypothèse nulle fausse), ces deux grandeurs variant en sens inverse pour une taille d’échantillon constante.

15. Synthèse et points clés

Le taux d’erreur par comparaison (α_C) constitue l’élémentaire brique décisionnelle de l’inférence statistique fréquentiste. Il délimite la marge d’erreur tolérée lors de l’examen isolé d’une hypothèse singulière, traditionnellement établie à 5 % dans les sciences du comportement.

Sa principale vertu réside dans la préservation optimale de la puissance statistique locale pour chaque question d’intérêt, évitant l’inflation des erreurs de seconde espèce inhérente aux procédures de correction globale. Cependant, son application indiscriminée à des séries de tests multiples non planifiés expose la recherche à une prolifération incontrôlée de faux positifs, compromettant gravement la réplicabilité des résultats.

La gestion avisée du taux d’erreur par comparaison requiert de la part du chercheur en psychologie une transparence méthodologique absolue : privilégier le taux par comparaison non corrigé pour les contrastes confirmatoires rigoureusement préenregistrés et limités en nombre, recourir à des ajustements appropriés (Bonferroni, Holm, FDR) lors des phases exploratoires ou en présence de multiples critères de jugement, et compléter systématiquement l’analyse de signification par l’estimation rigoureuse de la taille de l’effet et de ses intervalles d’incertitude.

Références

• Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289-300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
• Cohen, J. (1994). The earth is round (p < .05). American Psychologist, 49(12), 997-1003. https://doi.org/10.1037/0003-066X.49.12.997
• Maxwell, S. E., & Delaney, H. D. (2004). Designing experiments and analyzing data: A model comparison perspective (2nd ed.). Lawrence Erlbaum Associates. https://www.routledge.com/Designing-Experiments-and-Analyzing-Data-A-Model-Comparison-Perspective/Maxwell-Delaney-Kelley/p/book/9781138892309
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359-1366. https://doi.org/10.1177/0956797611417632
• Tukey, J. W. (1953). The problem of multiple comparisons. Princeton University. Unpublished manuscript. https://www.stat.berkeley.edu/~stark/Seminars/tukey.pdf