Validité interne vs validité externe

Dans le vaste édifice de la méthode scientifique, l’établissement de la preuve constitue l’impératif premier auquel sont subordonnées toutes les architectures de recherche. Qu’il s’agisse d’évaluer l’efficacité clinique d’une molécule pharmaceutique novatrice, de mesurer l’impact socio-économique d’une réforme de l’éducation ou de décrypter les mécanismes cognitifs sous-tendant la prise de décision humaine, les chercheurs sont confrontés à une exigence épistémologique fondamentale : garantir l’authenticité de leurs observations tout en assurant leur pertinence au-delà des limites étroites de leur laboratoire. Cette exigence est médiée par le concept englobant de validité méthodologique, pierre angulaire qui sépare la spéculation empirique informelle de l’inférence scientifique rigoureuse.

Au cœur de cette quête de vérité se dessine une dialectique fondatrice, articulée autour de deux pôles conceptuels souvent présentés comme antagonistes mais fondamentalement indissociables : la validité interne et la validité externe. La première interroge la solidité du lien causal au sein même du dispositif expérimental mis en place : le traitement ou la variable indépendante est-il véritablement la cause du changement observé sur la variable dépendante, ou ce lien n’est-il qu’un mirage causé par des facteurs confondants non maîtrisés ? La seconde, quant à elle, questionne l’extrapolabilité de ce résultat : dans quelle mesure cette relation causale, démontrée dans des conditions strictement contrôlées, demeure-t-elle vérifiée lorsqu’elle est transposée à d’autres populations d’individus, à des cadres écologiques naturels, ou à des contextes temporels et institutionnels différents ?

Cette distinction, loin de se réduire à un débat d’école réservé aux théoriciens de l’épistémologie, façonne intimement la pratique scientifique quotidienne et détermine la trajectoire de l’innovation médicale, technologique et sociétale. Une confusion entre ces deux dimensions expose les chercheurs à des écueils majeurs : investir des ressources considérables dans le déploiement à grande échelle d’interventions reposant sur des artefacts de laboratoire, ou, à l’inverse, rejeter prématurément des hypothèses théoriques fécondes faute d’avoir su isoler le signal du bruit environnemental. Cet article propose une exploration approfondie, critique et structurée de la relation dynamique, parfois conflictuelle et éminemment complémentaire, qui lie la validité interne à la validité externe au sein de la démarche expérimentale contemporaine.

1. Introduction : Les fondements de la validité en méthodologie de recherche

1.1 Définition conceptuelle et cadre épistémologique de la validité

D’un point de vue épistémologique, la notion de validité renvoie au degré d’exactitude avec lequel une mesure, une inférence ou une théorie scientifique correspond à la réalité objective qu’elle prétend décrire ou expliquer. Dans les sciences empiriques, la validité ne saurait être appréhendée comme une propriété binaire — une étude ne peut être qualifiée d’absolument « valide » ou « invalide » de manière simpliste —, mais plutôt comme un jugement évaluatif continu portant sur la justesse des inférences formulées à partir des données recueillies. L’évolution de ce concept témoigne d’une sophistication croissante de la conscience méthodologique au cours du vingtième siècle.

Le tournant sémantique et méthodologique majeur intervient avec les travaux pionniers du psychologue et théoricien des sciences Donald T. Campbell (1957), qui formule pour la première fois de manière explicite la distinction binaire entre validité interne et validité externe. Campbell observait alors que les chercheurs en psychologie sociale et en éducation étaient pris en étau entre la nécessité de contrôler rigoureusement leurs protocoles et le désir d’appliquer leurs découvertes aux environnements scolaires réels. Cette clarification conceptuelle a ensuite été magistralement codifiée dans la monographie de référence de Campbell et Julian C. Stanley (1963), intitulée Experimental and Quasi-Experimental Designs for Research. Les auteurs y établissent une taxonomie rigoureuse des plans de recherche, analysant systématiquement chaque devis expérimental à l’aune de ses vulnérabilités spécifiques.

Plus tard, les travaux de Cook et Campbell (1979), prolongés et révisés par Shadish, Cook et Campbell (2002), ont affiné cette architecture en subdivisant le champ de la validité en quatre composantes fondamentales : la validité des conclusions statistiques (l’existence d’une covariation fiable), la validité interne (la nature causale de cette covariation), la validité de construit (l’adéquation entre les manipulations opérationnelles et les concepts théoriques) et la validité externe (la généralisabilité de l’inférence causale). Au cœur de cet édifice, la validité interne représente la vérité locale d’une relation de cause à effet : elle certifie que, dans les limites strictes de l’échantillon observé et du dispositif mis en œuvre, l’effet mesuré découle de l’intervention. À l’opposé, la validité externe incarne la portée globale de cette vérité : elle postule que l’invariance causale survit au changement de paramètres écologiques, démographiques ou temporels.

1.2 Pourquoi la distinction entre validité interne et externe est-elle cruciale ?

La distinction opérée entre ces deux dimensions n’est pas un raffinement sémantique superflu ; elle constitue une ligne de défense indispensable contre les erreurs d’inférence causale. L’histoire des sciences est jalonnée de conclusions hâtives résultant d’une confusion entre une corrélation robuste observée en milieu confiné et l’affirmation d’une loi universelle transposable sur le terrain. Dans un premier temps, une étude affichant un déficit de validité interne engendre inévitablement des illusions de causalité. Si des variables parasites ou des facteurs confondants ne sont pas neutralisés, la corrélation mise au jour ne reflète qu’un artefact méthodologique. Généraliser un tel artefact au monde réel conduit à implémenter des programmes inopérants, voire néfastes.

Dans un second temps, cette distinction est au cœur de la « crise de la reproductibilité » qui traverse aujourd’hui les sciences biomédicales, psychologiques et économiques. Lorsqu’un protocole expérimental rigoureusement documenté ne produit pas les mêmes résultats lorsqu’il est répliqué par une équipe indépendante, le problème réside fréquemment dans une mauvaise appréciation des conditions limites de la validité externe. Une intervention efficace au sein d’une université d’élite occidentale sur une cohorte homogène d’étudiants de dix-neuf ans peut échouer dramatiquement lorsqu’elle est déployée auprès d’une population générale présentant des caractéristiques sociodémographiques hétérogènes. La sensibilité aux modérateurs contextuels — qui constitue la substance même de la validité externe — est trop souvent ignorée au profit d’une déclaration prématurée d’universalité.

Enfin, les répercussions de cette dichotomie s’étendent bien au-delà des laboratoires universitaires pour toucher directement l’élaboration des politiques publiques et l’autorisation de mise sur le marché des thérapies médicales. En pharmacologie, par exemple, un essai clinique randomisé hautement standardisé peut établir l’efficacité (au sens d’efficacy, liée à la validité interne) d’une molécule chez des patients rigoureusement sélectionnés, exempts de comorbidités et observant scrupuleusement la posologie prescrite. Cependant, l’effectivité réelle (au sens d’effectiveness, tributaire de la validité externe) de ce médicament dépendra de son comportement au sein d’une population diversifiée, sujette aux interactions polymédicamenteuses et aux ruptures d’observance thérapeutique. Confondre ces deux dimensions expose la société à de lourdes déconvenues cliniques et financières.

1.3 La dialectique du compromis méthodologique (Trade-off)

L’un des axiomes fondamentaux de la méthodologie expérimentale réside dans l’existence d’une tension structurelle — souvent qualifiée de compromis incontournable ou de trade-off — entre la validité interne et la validité externe. Ce compromis découle directement de la divergence des conditions matérielles nécessaires à l’optimisation de chacune de ces dimensions. Pour maximiser la validité interne, le chercheur doit exercer un contrôle drastique sur toutes les variables exogènes susceptibles de contaminer la mesure : il isole le sujet du bruit environnemental, standardise les stimuli au millimètre près, utilise des consignes invariantables et sélectionne une cohorte aussi homogène que possible afin de réduire la variance d’erreur.

Toutefois, chaque mesure de contrôle introduite dans le protocole pour neutraliser une variable confondante contribue simultanément à éloigner l’environnement expérimental de la complexité dynamique du monde réel. Le laboratoire devient un univers aseptisé, artificiel et simplifié, dont les caractéristiques ne reflètent que très imparfaitement les écologies de vie quotidiennes dans lesquelles s’exercent habituellement les comportements étudiés. Par conséquent, plus un chercheur verrouille son devis pour écarter tout doute sur la causalité locale (haute validité interne), plus il risque de limiter la capacité de son modèle à s’appliquer en dehors des quatre murs de son laboratoire (faible validité externe).

Inversement, le chercheur qui privilégie d’emblée la validité externe choisira d’étudier les phénomènes in situ — dans des salles de classe, des ateliers d’usine, des hôpitaux de campagne ou des plateformes numériques grand public. Ce faisant, il expose son protocole à une multitude de variables parasites non contrôlées, d’événements historiques perturbateurs et de dynamiques spontanées qui brouillent le lien entre l’intervention et l’observation finale. Dans ces conditions écologiques, démontrer de façon irréfutable que la variation de la variable dépendante est attribuable exclusivement à la variable d’intérêt devient une tâche méthodologique éminemment complexe. Dès lors, la recherche scientifique moderne ne cherche plus à abolir ce compromis, mais à l’arbitrer intelligemment en fonction du degré de maturité épistémique du domaine concerné.

2. Vue d’ensemble de la validité interne : Rigueur causale et contrôle expérimental

2.1 Définition, principes et critères d’isolation causale

La validité interne désigne la rigueur avec laquelle un plan expérimental permet de conclure qu’une relation statistique observée entre une variable indépendante manipulée (le traitement, l’intervention ou le facteur X) et une variable dépendante mesurée (l’effet ou le résultat Y) reflète une connexion causale authentique, exempte de distorsions imputables à des facteurs non contrôlés. Elle répond à une interrogation épistémique sans équivoque : les données recueillies permettent-elles d’écarter toute explication alternative plausible au bénéfice du seul rôle causal de la variable manipulée ?

Pour prétendre à une forte validité interne, un protocole doit satisfaire aux règles fondamentales de l’inférence causale formalisées initialement par les canons de la méthode inductive de John Stuart Mill (1843), et enrichies ultérieurement par les critères épidémiologiques d’Austin Bradford Hill (1965). Ces principes méthodologiques se déclinent principalement en trois exigences strictes :

• La préséance temporelle : La cause postulée (X) doit invariablement précéder l’apparition de l’effet mesuré (Y) dans l’ordre chronologique, excluant toute possibilité de causalité inverse.
• La covariation empirique : Les variations de la variable indépendante doivent s’accompagner de variations concomitantes, statistiquement significatives et stables de la variable dépendante (si X change, Y change ; si X ne change pas, Y demeure constant).
• La non-médiation espurée (ou élimination des variables parasites) : L’association observée entre X et Y ne doit pas être la résultante d’un troisième facteur sous-jacent (Z), appelé variable confondante, qui causerait simultanément X et Y, créant l’illusion d’une relation directe.

Dans le paradigme contrefactuel contemporain, formalisé notamment par Donald Rubin à travers le modèle causal de Neyman-Rubin, la validité interne renvoie à la capacité de l’expérimentateur à estimer fidèlement la différence contrefactuelle. Il s’agit de répondre à la question suivante : que se serait-il passé pour le groupe traité si, toutes choses étant égales par ailleurs, il n’avait pas reçu le traitement ? Puisqu’il est ontologiquement impossible d’observer simultanément le même individu sous deux états opposés au même instant t, le chercheur s’efforce de construire, par des moyens méthodologiques sophistiqués, un substitut contrefactuel parfait : le groupe témoin. C’est l’étanchéité de ce substitut qui détermine le degré de validité interne.

2.2 Typologie des menaces majeures à la validité interne

La taxonomie canonique établie par Campbell et Stanley (1963) recense une série de menaces endogènes et exogènes susceptibles de fausser les conclusions causales d’un devis de recherche. Comprendre ces menaces constitue la condition première pour concevoir des plans d’expérience résilients. On peut classer ces perturbations en plusieurs grandes familles méthodologiques :

Les menaces d’ordre temporel et biologique :

• L’histoire (History) : Fait référence à l’occurrence d’événements environnementaux, économiques ou sociaux imprévus, survenant entre les mesures pré-test et post-test, et susceptibles d’influencer la variable dépendante indépendamment de l’intervention étudiée (ex. : une crise financière survenant pendant une étude sur le bien-être au travail).
• La maturation (Maturation) : Processus biologiques, physiologiques ou psychologiques autonomes qui se déroulent chez les participants au fil de l’écoulement du temps (vieillissement, fatigue, développement cognitif, récupération spontanée d’une pathologie) et qui peuvent être confondus avec un effet thérapeutique.
• L’effet d’apprentissage ou de test répété (Testing) : L’administration réitérée d’un même instrument de mesure (tests psychométriques, épreuves cognitives) modifie les scores futurs du fait de l’accoutumance du sujet, de la baisse de son anxiété ou de sa familiarisation avec le matériel, indépendamment de toute intervention.

Les menaces liées à la constitution des groupes et à la mesure :

• Le biais de sélection : Se produit lorsque les groupes expérimentaux et témoins présentent des dissemblances systématiques avant même l’administration du traitement (différences d’âge, de motivation, de compétences de base). Dès lors, l’effet post-test reflète ces prédispositions initiales plutôt que l’impact réel du traitement.
• L’attrition différentielle ou mortalité expérimentale : Correspond à la déperdition asymétrique de participants au cours de l’étude entre les différents bras expérimentaux. Si les sujets les plus malades ou les plus découragés abandonnent préférentiellement le groupe expérimental en raison des contraintes du traitement, les résultats finaux surestimeront artificiellement le bénéfice thérapeutique.
• La régression statistique vers la moyenne : Phénomène mathématique inévitable qui se manifeste lorsque des individus sont sélectionnés sur la base de scores extrêmes (très faibles ou très élevés). Lors de la seconde mesure, ces scores ont une probabilité statistique spontanée de se rapprocher de la moyenne de la population, un mouvement de recentrage qui risque d’être faussement interprété comme une amélioration ou une détérioration causée par l’intervention.
• L’instrumentation : Tout changement intervenant au cours du temps dans le fonctionnement des appareils de mesure, dans la grille de codage ou dans le degré d’exigence et de vigilance des évaluateurs humains engendre une instabilité instrumentale confondante.

2.3 Stratégies méthodologiques de contrôle et de renforcement

Face à cet arsenal de menaces potentielles, la méthodologie expérimentale a développé des dispositifs préventifs éprouvés destinés à blinder la validité interne des protocoles de recherche. Le plus puissant de ces instruments demeure sans conteste l’assignation aléatoire (ou randomisation stricte). En distribuant aléatoirement les participants entre le groupe expérimental et le groupe témoin à partir d’un grand échantillon, le principe probabiliste garantit que toutes les variables confondantes, qu’elles soient connues ou totalement inconnues du chercheur (génétique, traits de personnalité, statut socio-économique), sont réparties de manière équilibrée et homogène entre les bras de l’expérience. La randomisation détruit mathématiquement la corrélation préalable entre les caractéristiques des sujets et l’attribution du traitement.

En complément de la randomisation, la neutralisation des biais psychologiques et comportementaux requiert l’adoption systématique de procédures en aveugle :

• Le simple aveugle dissimule au participant son statut expérimental (administration d’un placebo indistinguable), éliminant ainsi les effets d’attente, l’effet placebo psychologique et la modification réflexive du comportement.
• Le double aveugle étend cette dissimulation aux expérimentateurs et aux évaluateurs cliniques chargés du contact direct avec les sujets et de la saisie des données, neutralisant les biais d’observation involontaires, les prophéties autoréalisatrices et l’effet Rosenthal (biais de confirmation de l’expérimentateur).
• Le triple aveugle inclut également le comité indépendant d’analyse statistique dans l’ignorance de la clé de décodage des groupes jusqu’à l’achèvement complet des analyses numériques, empêchant toute manipulation post-hoc ou ajustement sélectif des tests statistiques.

Enfin, la standardisation environnementale stricte joue un rôle prépondérant. Dans les protocoles de laboratoire, les chercheurs s’emploient à maintenir un niveau constant de température, d’acoustique, d’éclairage et d’instructions verbales délivrées par ordinateur afin de réduire à son strict minimum la variance résiduelle non systématique. De plus, des techniques de contrebalancement (par exemple, le carré latin) permettent de contrecarrer les biais d’ordre et de séquence dans les devis de mesures répétées intra-sujets.

3. Vue d’ensemble de la validité externe : Généralisabilité et applicabilité écologique

3.1 Définition, dimensions et portée de l’extrapolation

Tandis que la validité interne s’assure de l’ancrage local de la causalité, la validité externe évalue la capacité des conclusions d’une étude à conserver leur justesse et leur pouvoir prédictif lorsqu’elles sont transposées à d’autres échelles, contextes et temporalités. Elle traite de l’extrapolabilité de l’inférence causale au-delà des particularismes du protocole originel. Shadish, Cook et Campbell (2002) décomposent cette validité en sous-domaines précis qui s’interrogent sur la stabilité de la relation causale à travers différentes modulations opérationnelles (Units, Treatments, Observations, Settings – le modèle UTOS).

Sur le plan conceptuel, la validité externe se ramifie en trois dimensions fondamentales indispensables à l’exercice d’une science cumulative et applicable :

• La validité de population : Elle désigne le degré auquel les effets observés sur l’échantillon d’individus inclus dans l’expérimentation peuvent être légitimement inférés à la population cible plus large, voire à l’ensemble de l’humanité. Elle interroge l’absence d’interactions modératrices entre le traitement et les spécificités biologiques, développementales ou socio-culturelles des participants.
• La validité écologique : Introduite formellement par le psychologue Egon Brunswik (1943) et redéfinie de manière féconde par Urie Bronfenbrenner (1979), la validité écologique interroge la conformité physique, sociale et psychologique du milieu expérimental avec les contextes de vie courante. Une étude possède une forte validité écologique si les stimuli présentés, les tâches demandées et les interactions vécues par le sujet reproduisent fidèlement la complexité et les contraintes du monde réel.
• La validité temporelle et historique : Elle postule la pérennité de l’effet causal à travers le passage du temps. Certains phénomènes psychologiques ou sociologiques sont intimement dépendants des normes culturelles d’une époque donnée ou d’une conjoncture technologique spécifique ; leur validité s’érode dès lors que les structures sociétales évoluent.

3.2 Typologie des menaces majeures à la validité externe

De même que la validité interne est constamment menacée par des artefacts méthodologiques, la validité externe se heurte à des contraintes structurelles qui limitent sévèrement la généralisation des résultats d’expérience. La taxonomie méthodologique identifie plusieurs sources critiques de biais d’extrapolation :

L’homogénéité artificielle et les biais d’échantillonnage (Le biais WEIRD) :

L’une des menaces les plus massives pesant sur la validité de population a été magistralement mise en lumière par Henrich, Heine et Norenzayan (2010) sous l’acronyme d’échantillons WEIRD (Western, Educated, Industrialized, Rich, and Democratic). Une proportion écrasante des découvertes en sciences du comportement et en psychologie a été établie exclusivement à partir de cohortes d’étudiants de premier cycle issus des universités nord-américaines et européennes. Or, ces populations représentent moins de 12 % de l’humanité et occupent des positions hautement atypiques sur le plan des valeurs culturelles, de la perception spatiale, de la moralité et du raisonnement cognitif. Traiter les données issues de ces sous-groupes ultra-spécifiques comme une norme anthropologique universelle constitue une rupture manifeste de validité externe.

La réactivité des sujets et l’effet Hawthorne :

Les individus placés au sein d’un laboratoire expérimental adoptent des comportements modifiés par la seule conscience qu’ils ont d’être observés, analysés et évalués par une autorité scientifique. Ce phénomène, documenté initialement dans le cadre des célèbres expériences menées aux usines de la Western Electric Company à Hawthorne (Roethlisberger & Dickson, 1939), est connu sous le nom d’effet Hawthorne. Il s’articule étroitement avec les « caractéristiques de la demande » (demand characteristics) identifiées par Orne (1962) : les participants devinent activement les hypothèses de recherche de l’expérimentateur et modifient inconsciemment ou consciemment leurs réponses pour se conformer aux attentes perçues ou, inversement, pour les saboter (effet de réactance).

Les interactions d’interférence et de contextualisation :

• L’interaction de l’intervention avec le cadre (Setting) : Une intervention pédagogique qui démontre des résultats spectaculaires au sein d’une école expérimentale dotée de matériel dernier cri et d’enseignants hautement mobilisés ne fonctionnera pas nécessairement lorsqu’elle est étendue à un système scolaire en sous-effectif chronique.
• L’interférence des traitements multiples : Lorsque les sujets d’une expérience reçoivent successivement plusieurs conditions d’intervention, les effets résiduels cumulés des traitements antérieurs s’entremêlent, rendant impossible la généralisation de l’effet d’un traitement isolé dispensé seul à une population nouvelle.
• La sensibilisation au pré-test : L’administration d’un questionnaire préalable peut éveiller la curiosité ou modifier l’attention des participants, les rendant inhabituellement réceptifs à l’intervention ultérieure. Dans le monde réel, où les populations ne bénéficient d’aucun pré-test préparatoire, la même intervention peut s’avérer totalement inopérante.

3.3 Méthodes pour maximiser la représentativité et le réalisme

Pour immuniser les protocoles de recherche contre ces écueils et optimiser leur validité externe, les méthodologistes disposent d’un ensemble de techniques spécifiques, centrées sur la diversification des échantillons et la naturalisation des environnements d’observation. En premier lieu figure l’adoption de techniques d’échantillonnage probabiliste : tirage aléatoire simple dans la population générale, échantillonnage stratifié proportionnel (permettant de garantir la représentation fidèle des différentes strates d’âge, de sexe, de milieu social et d’ethnicité) ou échantillonnage en grappes pour les grandes populations géographiques.

En second lieu, l’expansion des expérimentations de terrain (field experiments) constitue une réponse décisive à la critique d’artifice de laboratoire. En introduisant la manipulation expérimentale directement au sein du milieu de vie ordinaire des participants — souvent sans que ceux-ci n’aient conscience de faire partie d’une étude —, les chercheurs éliminent à la racine l’effet Hawthorne et préservent l’intégrité écologique des interactions. Les travaux pionniers d’Angrist (1990) ou les expérimentations contrôlées randomisées de terrain appliquées au développement économique par Banerjee et Duflo (2009) illustrent comment le déploiement d’expériences au sein de villages ou de bidonvilles permet d’atteindre une validité externe supérieure tout en maintenant un standard de causalité formel.

Enfin, la montée en puissance des consortiums de réplication multisites et transnationaux (tels que le réseau Many Labs ou la Psychological Science Accelerator) révolutionne la portée des études contemporaines. En faisant passer un protocole standardisé à travers des dizaines de laboratoires indépendants répartis sur l’ensemble des continents, ces initiatives permettent d’analyser explicitement la modération culturelle et géographique des effets statistiques, transformant l’évaluation de la validité externe en une démarche quantitative rigoureuse et vérifiable empiriquement.

4. Différences fondamentales : Comparaison structurelle des deux concepts

4.1 Finalité épistémique et orientation de la question de recherche

Au-delà de leurs définitions techniques, la validité interne et la validité externe répondent à des finalités épistémiques fondamentalement différentes, reflétant deux orientations distinctes de l’interrogation scientifique. La validité interne est tout entière tournée vers l’élucidation microscopique des liens de causalité : elle s’intéresse au pourquoi et au comment d’un phénomène. Son objectif ultime est l’isolation d’un mécanisme de transmission causal dépouillé de toute ambiguïté ; il s’agit d’une quête de certitude analytique locale. Dans ce contexte, l’expérimentateur s’efforce de répondre à la question : « Suis-je absolument certain que dans ce montage particulier, X a causé l’altération de Y ? » Cette démarche s’apparente à une démonstration de faisabilité théorique fondamentale (proof of concept).

À l’inverse, la validité externe adopte une perspective macroscopique, pragmatique et cumulative : elle s’intéresse au qui d’autre, au où et au quand. Elle n’interroge pas la pureté géométrique du modèle mécanique, mais plutôt son endurance face au désordre thermodynamique du monde réel. Le chercheur orienté vers la validité externe formule la problématique en ces termes : « Quelle est la robustesse de cette causalité face à l’hétérogénéité des sujets, des lieux d’intervention et des aléas environnementaux ? » C’est la distinction classique, conceptualisée dans les essais biomédicaux, entre l’évaluation de l’efficacité théorique (efficacy), mesurée en conditions idéales de surveillance, et l’évaluation de l’effectivité pratique (effectiveness), évaluée dans les conditions de routine non supervisées.

4.2 Environnement expérimental et manipulation des variables

La divergence entre les deux validités dicte des choix structurels diamétralement opposés en matière de conception de l’espace d’étude et de manipulation des variables d’intérêt. L’architecture dédiée à la validité interne privilégie un système clos, imperméable et hautement artificiel : la chambre anéchoïque, la cage d’imagerie par résonance magnétique, le laboratoire de psychophysique insonorisé ou le centre de confinement pharmacologique. Dans un tel environnement, la variance naturelle n’est pas tolérée : elle est considérée comme du bruit statistique menaçant et doit être impitoyablement annihilée par des restrictions strictes imposées sur toutes les variables concomitantes.

La stratégie dédiée à la validité externe privilégie les systèmes ouverts et complexes : les espaces publics, les écoles, les marchés économiques ou les hôpitaux de district. Loin de chercher à éliminer la variance naturelle, le chercheur soucieux de validité externe l’accueille délibérément au sein de son devis. Il substitue aux critères d’inclusion ultra-restrictifs des critères d’admissibilité larges, représentatifs de la polychromie du monde réel. Tandis que la première approche emploie des protocoles standardisés ultra-rigides où chaque geste de l’expérimentateur est minuté au dixième de seconde, la seconde s’oriente vers des interventions adaptatives et flexibles, capables de composer avec les aléas humains et institutionnels sans que l’action globale ne perde sa cohérence causale.

4.3 Tableau comparatif analytique

Le tableau ci-dessous dresse une comparaison systématique, exhaustive et rigoureuse des caractéristiques opératoires qui distinguent la validité interne de la validité externe dans la pratique de la recherche empirique :

Dimension méthodologique	Validité interne	Validité externe
Question fondamentale	L’intervention X est-elle la cause unique et démontrable du résultat Y dans ce contexte précis ?	Le résultat observé s’applique-t-il à d’autres individus, environnements, protocoles et temporalités ?
Objectif scientifique	Établir l’isolation causale rigoureuse et la démonstration de faisabilité théorique (preuve de concept).	Établir l’invariance causale, la transférabilité écologique et l’applicabilité pragmatique sur le terrain.
Cadre d’implémentation typique	Laboratoire clos, chambres confinées, unités d’essais cliniques ultra-standardisées de Phase I/II.	Milieux naturels de vie, communautés, écoles, entreprises, hôpitaux généraux, plateformes web ouvertes.
Gestion des variables parasites	Élimination, contrôle physique strict, invariance imposée des conditions environnementales.	Inclusion délibérée de la variance naturelle, acceptation de l’hétérogénéité contextuelle non biaisée.
Approche d’échantillonnage	Cohortes homogènes, critères d’exclusion stricts afin de limiter la variance d’erreur résiduelle.	Échantillons probabilistes stratifiés, populations diversifiées, critères d’inclusion larges et représentatifs.
Menaces méthodologiques majeures	Histoire, maturation, attrition différentielle, régression vers la moyenne, biais d’instrumentation.	Biais d’échantillonnage (échantillons WEIRD), effet Hawthorne, réactance, interactions traitement-environnement.
Outils de renforcement privilégiés	Assignation aléatoire stricte, protocoles en double ou triple aveugle, contrôle placebo rigide.	Expérimentations de terrain, réplications multisites trans-culturelles, méta-analyses, devis pragmatiques.
Terminologie médicale usuelle	Efficacy (Efficacité théorique en conditions expérimentales idéales et surveillées).	Effectiveness (Effectivité pratique en conditions écologiques réelles de soins de routine).

5. Points de convergence, complémentarité et interdépendance

5.1 La validité interne comme condition préalable indispensable

La mise en contraste théorique des deux validités pourrait suggérer une équivalence symétrique de leur importance au sein de chaque protocole particulier. Pourtant, une asymétrie hiérarchique et chronologique absolue lie ces deux concepts : la validité interne constitue une condition préalable non négociable à la considération de la validité externe. Comme l’a souligné Donald Campbell dès 1957, s’interroger sur la généralisabilité d’un lien causal est totalement dénué de sens méthodologique et d’intérêt épistémique si l’on n’a pas préalablement établi avec certitude que ce lien causal existe bel et bien dans l’échantillon d’origine.

Généraliser une corrélation fallacieuse — issue d’un artefact expérimental, d’un effet de maturation non détecté ou d’un biais de sélection majeur — ne produit rien d’autre que l’exportation massive d’une erreur systématique. En d’autres termes, multiplier les sites géographiques ou diversifier les cohortes pour répéter une expérience dépourvue de validité interne ne transforme pas un mirage local en vérité globale. Par conséquent, dans la dynamique de construction d’un savoir scientifique, la primauté revient toujours, par nécessité logique, au verrouillage interne du devis. Le chercheur doit impérativement prouver la réalité contrefactuelle locale de son effet avant de s’autoriser à élargir son champ de déploiement.

5.2 L’intégration au sein des synthèses quantitatives et méta-analyses

Si aucune étude individuelle unique ne peut prétendre maximiser simultanément et au sommet ces deux formes de validité, la communauté scientifique résout cette aporie par l’intégration cumulative des données au sein de revues systématiques et de méta-analyses quantitatives. C’est à ce niveau d’agrégation supérieure que s’opère la synthèse dialectique entre rigueur interne et généralisation externe.

Dans un premier temps, les protocoles méta-analytiques contemporains filtrent sévèrement les études primaires en évaluant leur validité interne à l’aide de grilles standardisées d’évaluation du risque de biais, telles que l’outil RoB 2 (Risk of Bias 2) de la collaboration Cochrane pour les essais randomisés ou ROBINS-I pour les études non randomisées. Les études souffrant de failles internes critiques sont exclues ou pondérées à la baisse, garantissant que l’édifice statistique ne repose que sur des bases causales solides.

Dans un second temps, la méta-analyse résout les limites individuelles de validité externe propres à chaque laboratoire isolé. En compilant des dizaines d’essais réalisés dans des pays différents, avec des tranches d’âge diverses et des modalités d’intervention légèrement hétérogènes, le modèle méta-analytique à effets aléatoires permet de tester la consistance globale de la relation causale. Grâce aux techniques de méta-régression et d’analyse des modérateurs, les statisticiens peuvent quantifier avec précision dans quelle mesure les variations contextuelles modifient la taille de l’effet, cartographiant ainsi rigoureusement les frontières de validité externe d’un paradigme scientifique.

Le système GRADE (Grading of Recommendations Assessment, Development and Evaluation) incarne parfaitement cette maturité épistémique en intégrant simultanément l’évaluation de la qualité méthodologique interne des essais cliniques et la directicité (directness, qui correspond à la validité externe) de l’extrapolation aux populations réelles pour formuler des recommandations thérapeutiques internationales.

5.3 Le continuum méthodologique plutôt qu’une dichotomie stricte

L’épistémologie contemporaine tend à dépasser l’opposition manichéenne entre purisme de laboratoire et écologisme de terrain en adoptant la conception d’un continuum méthodologique dynamique. Il s’agit de comprendre que la recherche ne progresse pas par opposition entre deux camps retranchés, mais par une série d’itérations progressives au sein desquelles les priorités méthodologiques s’ajustent cycliquement au fil de l’accumulation des connaissances.

Cette approche s’illustre de manière exemplaire dans la trajectoire du développement biopharmaceutique et des sciences translationnelles :

• Les études précliniques in vitro et les essais cliniques de Phase I et II privilégient de façon absolue la validité interne : il s’agit de cerner la tolérance biologique et la preuve de concept mécanique chez des cohortes réduites et hautement surveillées d’individus sains ou de patients ciblés.
• Les essais de Phase III commencent à ouvrir la focale en élargissant le spectre démographique tout en maintenant le cadre sécurisant de la randomisation multicentrique en double aveugle.
• Enfin, les essais de Phase IV (pharmacovigilance post-AMM, études pragmatiques en vie réelle) basculent résolument vers la priorité à la validité externe, mesurant l’impact de la molécule dans des millions de prescriptions quotidiennes hétérogènes.

Ce cycle translationnel vertueux démontre que validité interne et validité externe ne s’excluent pas : elles se succèdent chronologiquement dans une dynamique d’approfondissement et d’élargissement de l’inférence causale, réconciliant ainsi l’exigence d’imputabilité avec celle de transférabilité.

6. Critères de décision : Quand prioriser l’une ou l’autre validité ?

6.1 Contextes nécessitant la primauté absolue de la validité interne

L’arbitrage méthodologique ne s’opère pas au hasard ; il est dicté par la nature fondamentale de la question de recherche posée et par l’état d’avancement de la discipline. La priorité accordée à la validité interne est un impératif absolu dans plusieurs circonstances précises :

1. La recherche fondamentale et la vérification des axiomes théoriques :

Lorsqu’un chercheur cherche à valider ou réfuter une hypothèse théorique formelle — par exemple, l’existence d’un goulot d’étranglement attentionnel en psychologie cognitive, ou le mécanisme d’action enzymatique d’une molécule en biochimie —, il ne s’intéresse pas à savoir si le phénomène se produit chez n’importe quel passant dans la rue. Il cherche à savoir si le mécanisme est possible selon les lois de la nature. Dans ce cadre, toute faille de validité interne invalide la théorie sous-jacente. L’artifice du laboratoire est ici le prix inévitable et assumé de la précision analytique.

2. Les études toxicologiques et de sécurité pharmacologique :

Lors de l’évaluation de la cytotoxicité ou du potentiel mutagène d’un composant chimique, le risque d’erreur de Type I (affirmer la toxicité alors qu’il s’agit d’un contaminant externe) ou de Type II (manquer la détection du danger en raison d’une dilution dans le bruit ambiant) entraîne des conséquences létales. L’isolement complet du système biologique d’analyse est alors l’unique garant de la protection sanitaire.

3. L’élucidation des mécanismes en neurosciences et psychophysique :

La cartographie fonctionnelle des aires corticales par stimulation magnétique transcrânienne ou par magnétoencéphalographie exige une résolution spatio-temporelle de l’ordre de la milliseconde et du millimètre. L’introduction de la moindre variabilité écologique rendrait l’enregistrement des signaux cérébraux totalement inaudible au milieu des artefacts myographiques ou électromagnétiques.

6.2 Contextes imposant la priorité à la validité externe

À l’autre extrémité du spectre épistémique, de nombreux domaines exigent que la validité externe soit hissée au rang de préoccupation centrale du devis de recherche, sous peine de rendre l’étude scientifiquement stérile ou socialement inapplicable :

1. L’évaluation des politiques publiques, économiques et sociales :

Une mesure de transferts monétaires conditionnels visant à éradiquer la pauvreté, ou un programme d’incitation à l’emploi, ne peuvent être validés dans un microcosme fermé. Si les bénéficiaires d’une aide financière réagissent différemment dès lors que le dispositif est géré par l’administration réelle plutôt que par une équipe d’économistes chevronnés, le programme échouera. La faisabilité politique, l’adhésion sociologique et la friction bureaucratique font partie intégrante de l’objet d’étude. Réduire cette variabilité reviendrait à évaluer une chimère administrative.

2. Les interventions éducatives en milieu scolaire :

Un logiciel pédagogique d’apprentissage de la lecture doit fonctionner non pas en présence du concepteur de l’algorithme, mais au sein de classes de trente élèves agités, gérées par des enseignants plus ou moins formés à l’outil numérique. L’efficacité démontrée sous un tutorat individuel en laboratoire ne présente qu’un intérêt marginal pour les décideurs de l’Éducation nationale.

3. La santé communautaire et les campagnes de vaccination :

L’efficacité biologique d’un vaccin (validité interne) ne garantit aucunement le succès d’une politique de couverture vaccinale (validité externe). Cette dernière dépend de l’acceptabilité culturelle de l’injection, de la résistance des chaînes de distribution du froid et de la désinformation locale. Ici, la recherche opérationnelle doit impérativement s’enraciner dans les particularismes territoriaux.

6.3 Modèles de recherche séquentiels pour maximiser les deux dimensions

Afin de concilier ces exigences sans verser dans un idéalisme naïf, la méthodologie contemporaine a formalisé des modèles de déploiement séquentiel structurés, couramment désignés sous le terme d’approche en entonnoir ou de modèles de mise à l’échelle (scaling-up). Ce paradigme structure la trajectoire de la preuve en trois paliers successifs :

1. Phase de laboratoire (Découverte et isolation) : Optimisation exclusive de la validité interne par des expériences en double aveugle et randomisation rigide sur échantillons ciblés.
2. Phase d’essais pragmatiques (Translational field trials) : Transition vers des milieux réels à l’aide d’outils d’ingénierie méthodologique tels que la roue PRECIS-2 (Pragmatic Explanatory Continuum Indicator Summary). Ce modèle multidimensionnel aide les concepteurs d’essais à calibrer délibérément neuf paramètres opérationnels (critères d’admissibilité, recrutement, cadre d’organisation, flexibilité de délivrance du traitement, etc.) pour déterminer précisément où se situe leur étude sur le continuum explicatif-pragmatique.
3. Phase de généralisation et d’implémentation à large échelle : Évaluation post-déploiement reposant sur l’analyse de données massives issues des systèmes d’information administratifs et de santé, permettant de vérifier la pérennité macroscopique de l’effet.

En complément de cette séquentialité, l’intégration des approches mixtes (combinant des protocoles quantitatifs contrôlés et des enquêtes qualitatives ethnographiques approfondies) offre une solution méthodologique puissante. Alors que le versant quantitatif fournit la rigueur du test de l’hypothèse (validité interne), l’investigation qualitative éclaire les mécanismes d’appropriation contextuelle, de résistance locale et de dynamique relationnelle qui conditionnent la transférabilité (validité externe).

7. Foire aux questions (FAQ)

7.1 Une étude peut-elle posséder une haute validité externe sans validité interne ?

D’un point de vue strict de l’inférence causale, non, c’est une impossibilité logique. Si une étude ne possède pas de validité interne, cela signifie que la relation statistique observée ne résulte pas de l’effet causal de la variable manipulée, mais d’une variable confondante non maîtrisée ou d’un artefact méthodologique. Dès lors, chercher à extrapoler ou généraliser un lien faux ne produit qu’une généralisation de l’erreur. On ne peut pas conférer une portée universelle à une causalité qui n’existe même pas dans son foyer d’observation initial.

Cependant, une nuance capitale doit être introduite concernant les études à visée purement prédictive ou observationnelle descriptive. Dans le domaine de l’apprentissage automatique (machine learning) et des mégadonnées, un algorithme d’intelligence artificielle peut afficher une excellente capacité prédictive généralisable à des millions d’utilisateurs (très forte validité prédictive externe) en se basant sur des corrélations complexes et stables, sans que les ingénieurs ne comprennent le moindre mécanisme causal sous-jacent et sans aucune manipulation expérimentale (absence de validité interne causale). Dans ce cas précis, la validité externe existe en tant que puissance prédictive empirique, mais non en tant qu’inférence causale.

7.2 Quelle est la différence entre réalisme écologique et réalisme expérimental ?

Cette distinction cruciale, introduite initialement par Aronson et Carlsmith (1968), permet d’éviter l’écueil consistant à disqualifier abusivement toute étude de laboratoire comme « non réaliste ». Les deux concepts se différencient comme suit :

• Le réalisme écologique (ou réalisme mondain / mundane realism) : Il renvoie à la similarité physique, superficielle et matérielle de l’environnement de l’expérience avec les événements que les individus rencontrent réellement dans leur vie quotidienne. Par exemple, faire passer un test dans un bureau reproduisant fidèlement un open space d’entreprise possède un haut degré de réalisme mondain.
• Le réalisme expérimental : Il désigne l’intensité avec laquelle la situation expérimentale engage psychologiquement les participants, captive leur attention, provoque des émotions authentiques et les contraint à un comportement spontané et non réflexif.

Une expérience peut présenter un très faible réalisme écologique mais un immense réalisme expérimental. Les célèbres expériences de soumission à l’autorité de Stanley Milgram (1963) en constituent l’archétype : le dispositif (générateur de chocs électriques factice dans un laboratoire austère de Yale) ne ressemblait à aucune situation de la vie quotidienne normale (faible réalisme écologique). Pourtant, les sujets tremblaient, transpiraient et vivaient un conflit psychologique d’une vérité absolue (réalisme expérimental exceptionnel). Dès lors que le réalisme expérimental est garanti, la validité des processus psychologiques découverts peut transcender l’artifice du décor.

7.3 Comment les devis quasi-expérimentaux gèrent-ils cet arbitrage ?

Les plans quasi-expérimentaux, théorisés magistralement par Cook et Campbell (1979), interviennent précisément là où la randomisation totale est impossible pour des motifs éthiques, techniques ou politiques (par exemple, évaluer les effets de la fermeture soudaine d’usines sur la santé mentale ou l’impact d’une nouvelle loi nationale). Ces devis acceptent délibérément de composer avec des menaces résiduelles sur la validité interne afin de pouvoir opérer directement au sein de cadres institutionnels réels, s’assurant ainsi une très haute pertinence écologique et contextuelle.

Pour compenser l’absence d’assignation aléatoire, l’économétrie et les statistiques quasi-expérimentales déploient des approches de modélisation contrefactuelle hautement sophistiquées :

• La méthode des doubles différences (Diff-in-Differences) : Elle compare l’évolution dans le temps d’un groupe exposé à une politique publique avec celle d’un groupe non exposé, neutralisant les tendances temporelles globales et les différences fixes inobservées entre les groupes.
• La régression sur discontinuité (Regression Discontinuity Design – RDD) : Elle exploite des seuils stricts d’éligibilité administrative (ex. : une bourse accordée à partir d’un score de 60,0/100). Les individus situés juste en dessous (59,9) et juste au-dessus (60,1) sont mathématiquement assimilables à des groupes randomisés par la nature, garantissant une validité interne locale presque équivalente à celle d’un essai randomisé au voisinage immédiat du seuil.
• L’appariement par score de propension (Propensity Score Matching) : Il permet de coupler statistiquement chaque participant exposé à un participant non exposé présentant des probabilités a priori identiques d’avoir reçu le traitement au regard de leurs covariables observables.

7.4 Le double aveugle améliore-t-il la validité interne ou la validité externe ?

La procédure en double aveugle agit exclusivement au bénéfice de la validité interne. En interdisant aux sujets et aux investigateurs de connaître l’attribution du traitement, elle empêche les attentes cognitives, les effets de halo de l’observateur et l’amplification psychogène de biaiser la mesure de l’effet thérapeutique. Elle garantit que la divergence finale entre les bras est imputable aux propriétés physico-chimiques de la molécule et non à des croyances partagées.

De manière paradoxale, le maintien scrupuleux d’un double aveugle peut parfois amoindrir la validité externe d’une étude. Dans la pratique médicale courante, la prescription d’un traitement ne s’effectue jamais en aveugle : le médecin prodigue des explications réconfortantes et le patient investit son espoir dans le traitement. L’effet thérapeutique global en vie réelle est toujours la sommation synérgique de l’effet pharmacologique propre et de la composante contextuelle (l’alliance thérapeutique et l’effet placebo attendu). En éliminant artificiellement cette composante relationnelle fondamentale pour purifier la validité interne, le double aveugle s’éloigne de la réalité opérationnelle de la médecine clinique de terrain.

8. Conclusion : Synthèse et recommandations pour la pratique scientifique

8.1 Bilan de la complémentarité épistémologique

L’analyse approfondie de la validité interne et de la validité externe met en évidence la stérilité de toute posture doctrinale qui chercherait à opposer ces deux piliers de l’architecture scientifique de façon dogmatique. Elles ne constituent nullement deux idéologies concurrentes — le purisme de laboratoire contre l’écologisme du terrain —, mais bien les deux faces complémentaires d’une même médaille méthodologique. Aucune discipline scientifique ne peut prétendre à l’avancement pérenne de son corpus de connaissances sans satisfaire conjointement, de manière ordonnée et cumulative, à ces deux impératifs.

La validité interne demeure le fondement irremplaçable sans lequel la recherche s’égare dans les sables mouvants des corrélations illusoires et des prophéties auto-réalisatrices. Elle constitue le laboratoire de la vérité causale locale. Mais la validité externe incarne la finalité et la raison d’être de cette vérité : une science incapable de s’extirper des conditions ultra-spécifiques de son élaboration pour éclairer le fonctionnement du monde naturel et transformer positivement la société s’exposerait à une dégénérescence scolastique stérile. Reconnaître les limites intrinsèques inhérentes à tout devis expérimental individuel est le premier pas vers une pratique scientifique lucide et féconde.

8.2 Guide pratique pour les chercheurs et évaluateurs

À la lumière des principes méthodologiques consolidés depuis plus de six décennies, les chercheurs, relecteurs pairs et décideurs institutionnels sont invités à appliquer les recommandations opérationnelles suivantes lors de la conception, de la rédaction et de l’évaluation critique des travaux de recherche :

• Expliciter sans complaisance les compromis méthodologiques dans les publications : Les auteurs doivent abandonner la tentation récurrente de dissimuler les failles de leur plan expérimental sous une rhétorique triomphaliste. Il convient de consacrer un paragraphe transparent de la section « Limites » à l’analyse rigoureuse des concessions consenties en matière de validité interne (variables parasites non observées, limites de randomisation) et de validité externe (profil sociologique des cohortes, représentativité écologique des contextes).
• Éviter toute déclaration péremptoire de portée universelle à partir d’échantillons singuliers : Il est épistémologiquement inadmissible de titrer sur « le comportement humain » à partir d’une expérience menée sur quatre-vingts étudiants américains de premier cycle. Les conclusions doivent rigoureusement circonscrire la population cible visée et s’abstenir d’extrapolations audacieuses en l’absence de vérification empirique trans-culturelle.
• Promouvoir activement les pratiques de science ouverte et de réplication transparente : Le pré-enregistrement des protocoles, l’accès ouvert aux données brutes et aux scripts d’analyse informatique (Open Data) permettent à la communauté scientifique mondiale d’auditer la validité interne des calculs statistiques et facilitent la réalisation de réplications indépendantes indispensables à l’établissement de la validité externe.
• Concevoir les programmes de recherche sous forme d’écosystèmes convergents : Plutôt que de rechercher l’« expérience parfaite » unique et chimérique qui optimiserait simultanément toutes les dimensions, les laboratoires doivent articuler des séquences méthodologiques diversifiées, alternant études de laboratoire à haut contrôle expérimental, réplications quasi-expérimentales sur le terrain et synthèses méta-analytiques d’envergure. C’est à ce confluent d’efforts méthodologiques croisés que la science édifie des connaissances robustes, reproductibles et authentiquement utiles au bien commun.

Références

• Angrist, J. D. (1990). Lifetime earnings and the Vietnam era draft lottery: Evidence from Social Security administrative records. American Economic Review, 80(3), 313–336. https://www.jstor.org/stable/2006669
• Aronson, E., & Carlsmith, J. M. (1968). Experimentation in social psychology. In G. Lindzey & E. Aronson (Eds.), The Handbook of Social Psychology (Vol. 2, pp. 1–79). Addison-Wesley.
• Banerjee, A. V., & Duflo, E. (2009). The experimental approach to development economics. Annual Review of Economics, 1(1), 151–178. https://doi.org/10.1146/annurev.economics.050708.143235
• Bradford Hill, A. (1965). The environment and disease: Association or causation? Proceedings of the Royal Society of Medicine, 58(5), 295–300. https://doi.org/10.1177/003591576505800503
• Bronfenbrenner, U. (1979). The Ecology of Human Development: Experiments by Nature and Design. Harvard University Press.
• Brunswik, E. (1943). Organismic achievement and environmental probability. Psychological Review, 50(3), 255–272. https://doi.org/10.1037/h0056023
• Campbell, D. T. (1957). Factors relevant to the validity of experiments in social settings. Psychological Bulletin, 54(4), 297–312. https://doi.org/10.1037/h0040950
• Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research on teaching. In N. L. Gage (Ed.), Handbook of Research on Teaching (pp. 171–246). Rand McNally.
• Cook, T. D., & Campbell, D. T. (1979). Quasi-Experimentation: Design & Analysis Issues for Field Settings. Rand McNally.
• Guyatt, G. H., Oxman, A. D., Vist, G. E., Kunz, R., Falck-Ytter, Y., Alonso-Coello, P., & Schünemann, H. J. (2008). GRADE: An emerging consensus on rating quality of evidence and strength of recommendations. BMJ, 336(7650), 924–926. https://doi.org/10.1136/bmj.39489.470347.AD
• Henrich, J., Heine, S. J., & Norenzayan, A. (2010). The weirdest people in the world? Behavioral and Brain Sciences, 33(2-3), 61–83. https://doi.org/10.1017/S0140525X0999152X
• Loudon, K., Treweek, S., Sullivan, F., Donnan, P., Thorpe, K. E., & Zwarenstein, M. (2015). The PRECIS-2 tool: Designing trials that fit the purpose. BMJ, 350, h5232. https://doi.org/10.1136/bmj.h5232
• Milgram, S. (1963). Behavioral study of obedience. The Journal of Abnormal and Social Psychology, 67(4), 371–378. https://doi.org/10.1037/h0040525
• Mill, J. S. (1843). A System of Logic, Ratiocinative and Inductive: Being a Connected View of the Principles of Evidence, and the Methods of Scientific Investigation. John W. Parker.
• Orne, M. T. (1962). On the social psychology of the psychological experiment: With particular reference to demand characteristics and their implications. American Psychologist, 17(11), 776–783. https://doi.org/10.1037/h0046162
• Roethlisberger, F. J., & Dickson, W. J. (1939). Management and the Worker: An Account of a Research Program Conducted by the Western Electric Company, Hawthorne Works, Chicago. Harvard University Press.
• Rosenthal, R. (1966). Experimenter Effects in Behavioral Research. Appleton-Century-Crofts.
• Rubin, D. B. (1974). Estimating causal effects of treatments in randomized and nonrandomized studies. Journal of Educational Psychology, 66(5), 688–701. https://doi.org/10.1037/h0022-0663.66.5.688
• Sterne, J. A. C., Savović, J., Page, M. J., Elbers, R. G., Blencowe, N. S., Boutron, I., Cates, C. J., Cheng, H.-Y., Corbett, M. S., Eldridge, S. M., Emberson, J. R., Hernán, M. A., Hopewell, S., Hróbjartsson, A., Junqueira, D. R., Jüni, P., Kirkham, J. J., Lasserson, T., Li, T., … Higgins, J. P. T. (2019). RoB 2: A revised tool for assessing risk of bias in randomised trials. BMJ, 366, l4898. https://doi.org/10.1136/bmj.l4898
• Sterne, J. A. C., Hernán, M. A., Reeves, B. C., Savović, J., Berkman, N. D., Viswanathan, M., Henry, D., Altman, D. G., Ansari, M. T., Boutron, I., Carpenter, J. R., Chan, A.-W., Churchill, R., Deeks, J. J., Hróbjartsson, A., Kirkham, J. J., Jüni, P., Loke, Y. K., Pigott, T. D., … Higgins, J. P. T. (2016). ROBINS-I: A tool for assessing risk of bias in non-randomised studies of interventions. BMJ, 355, i4919. https://doi.org/10.1136/bmj.i4919
• Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin.