Au cœur de la recherche expérimentale et quasi expérimentale en sciences psychologiques et sociales, l’établissement d’une relation de cause à effet repose fondamentalement sur la capacité du chercheur à isoler l’influence d’une variable indépendante. Sans point d’ancrage méthodologique pour évaluer ce qui se serait produit en l’absence d’une intervention, toute inférence causale demeure fragile et exposée aux biais d’interprétation. Le recours à un groupe de comparaison constitue ainsi la clé de voûte de la validité interne, offrant le cadre contrefactuel indispensable à l’avancement des connaissances scientifiques.
Groupe de comparaison
1. Définition concise
En méthodologie de la recherche psychologique et épidémiologique, un groupe de comparaison désigne un ensemble de participants qui ne reçoivent pas le traitement, l’intervention ou la manipulation expérimentale à l’étude, ou qui reçoivent une modalité standard distincte, afin de servir de référence pour évaluer les effets observés au sein du groupe expérimental. Ce groupe fournit une estimation empirique de ce que serait l’évolution des sujets en l’absence de la variable testée.
Contrairement au terme plus strict de « groupe témoin » ou « groupe contrôle » souvent réservé aux devis expérimentaux purs avec assignation aléatoire (randomisation), le groupe de comparaison englobe également les cohortes non randomisées utilisées dans les devis quasi expérimentaux. Dans ce cadre, les chercheurs sélectionnent des individus présentant des caractéristiques aussi proches que possible de celles du groupe expérimental afin de neutraliser au mieux les variables confondantes potentielles.
Le rôle fondamental de ce groupe est de modéliser le scénario contrefactuel : que serait-il advenu de la variable dépendante chez les participants exposés si l’intervention n’avait pas eu lieu ? En fournissant cette ligne de base comparative, le groupe permet de distinguer l’effet réel de l’intervention des fluctuations spontanées, de la maturation biologique ou psychologique, de l’effet de régression vers la moyenne et des influences environnementales extérieures.
2. Étymologie et origine linguistique
Le substantif « groupe » provient de l’italien gruppo, terme initialement apparu dans le domaine des beaux-arts à la Renaissance pour désigner un assemblage harmonieux de plusieurs figures peintes ou sculptées. Au cours du XVIIe et du XVIIIe siècle, le mot s’est étendu à la langue commune pour désigner toute réunion ou collection d’individus ou d’objets présentant des traits communs ou partageant un espace donné.
Le terme « comparaison » dérive quant à lui du latin classique comparatio, nom d’action formé à partir du verbe comparare, qui signifie « accoupler », « mettre en paire » ou « évaluer conjointement » (composé du préfixe cum signifiant « avec, ensemble » et de l’adjectif par signifiant « égal, semblable »). L’étymologie renvoie donc directement à l’acte de mettre en vis-à-vis deux entités comparables pour en jauger les similitudes et les divergences.
L’expression composée « groupe de comparaison » (en anglais comparison group) s’est solidifiée dans la littérature scientifique au XXe siècle sous l’impulsion de la psychologie différentielle, de la sociométrie et de l’épidémiologie. Les méthodologistes ont formalisé cette désignation pour distinguer les contextes d’observation contrôlée où l’attribution aléatoire parfaite des sujets était impossible des situations d’essais strictement contrôlés en laboratoire.
3. Prononciation et forme grammaticale
Sur le plan phonétique, l’expression se transcrit dans l’alphabet phonétique international sous la forme /ɡʁup də kɔ̃.pa.ʁɛ.zɔ̃/. Le terme « groupe » est un nom commun masculin singulier, suivi de la préposition invariable « de » et du nom commun féminin singulier « comparaison » qui fonctionne ici comme un modificateur de complément de nom sans article.
Au pluriel, l’expression prend la marque de l’accord sur les deux termes nominaux substantifs lorsqu’il y a plusieurs cohortes distinctes, formant ainsi « groupes de comparaison » (/ɡʁup də kɔ̃.pa.ʁɛ.zɔ̃/). Dans les écrits académiques et les protocoles méthodologiques, on retrouve fréquemment des variantes lexicales telles que « groupe témoin non équivalent », « groupe de référence » ou « cohorte témoin », bien que chacune comporte des nuances techniques précises.
Sur le plan syntaxique, le terme est employé comme sujet ou complément au sein de propositions décrivant la structure d’un dispositif de recherche (par exemple : « Le groupe de comparaison a manifesté une stabilité symptomatique tout au long des huit semaines d’observation »). Son utilisation requiert une rigueur grammaticale constante pour ne pas le confondre avec le « groupe expérimental » qu’il est destiné à contrebalancer.
4. Explication conceptuelle détaillée
Pour saisir toute l’envergure du groupe de comparaison, il convient de se pencher sur la notion d’inférence causale en psychologie et en sciences comportementales. Lorsqu’un clinicien observe une diminution de l’anxiété chez un patient suivant une nouvelle thérapie cognitive, il est méthodologiquement erroné d’attribuer cette amélioration de manière exclusive à la thérapie. L’évolution observée peut résulter de multiples facteurs extrinsèques ou intrinsèques : le passage naturel du temps, des événements de vie favorables survenus pendant la période de suivi, les attentes du patient, ou encore le phénomène statistique de régression vers la moyenne.
Le groupe de comparaison intervient comme le miroir méthodologique indispensable pour capturer ces bruits de fond et ces artéfacts temporels. En observant simultanément un groupe parallèle présentant une sévérité initiale équivalente mais ne bénéficiant pas de la thérapie testée, le chercheur recueille une mesure empirique de l’évolution attribuable à l’ensemble des facteurs autres que le principe actif du protocole. La différence constatée à terme entre les deux trajectoires représente alors l’estimation la plus robuste de l’effet attribuable au traitement.
La distinction entre un « groupe témoin » strict et un « groupe de comparaison » repose avant tout sur le mécanisme d’attribution des participants. Dans un plan expérimental idéal, la randomisation assure que chaque participant possède une chance égale d’être assigné à l’une ou l’autre des conditions, créant ainsi une équivalence probabiliste initiale sur l’ensemble des caractéristiques observées et non observées. Dans de nombreuses situations appliquées (en milieu scolaire, hospitalier ou communautaire), la randomisation est impossible pour des raisons éthiques, légales ou logistiques. C’est précisément dans ces plans quasi expérimentaux que l’on mobilise un groupe de comparaison, sélectionné par appariement ou par recours à des groupes naturels déjà formés.
L’introduction d’un tel groupe impose toutefois un défi constant : celui de la comparabilité initiale. Si le groupe de comparaison diffère systématiquement du groupe cible sur des variables critiques telles que l’âge, la motivation au changement, le niveau socio-économique ou la gravité des symptômes, les conclusions tirées quant à l’efficacité de l’intervention seront irrémédiablement biaisées. L’art de la recherche quasi expérimentale réside donc dans la minimisation de ces écarts initiaux au moyen d’analyses statistiques sophistiquées et de stratégies de recrutement rigoureuses.
5. Évolution historique
L’émergence formelle des groupes de référence remonte aux premières expériences médicales contrôlées. Bien que des récits précurseurs existent dans l’Antiquité, c’est l’expérience de James Lind en 1747 sur le scorbut à bord du HMS Salisbury qui est souvent considérée comme le premier protocole clinique comparatif structuré. Lind divisa douze marins scorbutiques en paires et administra à chacune un traitement différent, utilisant ainsi chaque sous-ensemble comme point de comparaison pour les autres.
Au début du XXe siècle, sous l’impulsion du statisticien Ronald A. Fisher dans le domaine agronomique, la méthode de randomisation a été formalisée. Fisher démontra que l’attribution aléatoire aux groupes constituait la seule garantie mathématique contre les facteurs de confusion insoupçonnés. Ses travaux ont profondément influencé la méthodologie psychologique et pédagogique, incitant les chercheurs à adopter des groupes témoins randomisés dans leurs laboratoires.
Cependant, face aux contraintes du terrain social et clinique, les chercheurs ont rapidement constaté l’impossibilité d’appliquer systématiquement la randomisation pure. C’est en 1963 que Donald T. Campbell et Julian C. Stanley ont publié leur ouvrage fondamental, Experimental and Quasi-Experimental Designs for Research. Ils y ont codifié l’usage des devis quasi expérimentaux et ont mis en évidence la valeur irremplaçable des groupes de comparaison non équivalents, tout en dressant la liste détaillée des menaces à la validité interne auxquelles les chercheurs doivent faire face.
Plus tard, en 1979 et 2002, Thomas D. Cook et William R. Shadish ont prolongé ces travaux en développant des méthodologies de contrôle statistique avancées, telles que l’analyse des scores de propension et les régressions sur discontinuité. Ces innovations ont permis de consolider l’utilisation des groupes de comparaison dans les études d’évaluation de programmes, assurant une rigueur accrue même en l’absence de randomisation aléatoire initiale.
6. Fondements théoriques
Le groupe de comparaison s’ancre théoriquement dans le modèle causal de Rubin, également connu sous le nom de théorie des résultats potentiels (potential outcomes framework). Développé par le statisticien Donald Rubin dans les années 1970, ce cadre postule que pour chaque unité statistique et pour chaque traitement, il existe deux résultats potentiels : la valeur de la variable dépendante si l’unité reçoit le traitement, et la valeur si l’unité ne le reçoit pas. Le véritable effet causal individuel est la différence entre ces deux résultats.
Le problème fondamental de l’inférence causale réside dans le fait qu’il est impossible d’observer simultanément ces deux états pour le même individu au même instant ; l’un des résultats est nécessairement inobservable et contrefactuel. Le groupe de comparaison sert donc d’approximation collective empirique de cet état contrefactuel inobservable. En observant un groupe d’individus similaires qui ne reçoivent pas le traitement, le chercheur déduit la trajectoire moyenne qu’aurait suivie le groupe traité s’il avait été privé de l’intervention.
Un deuxième socle théorique repose sur la théorie de la validité méthodologique développée par Campbell. Selon cette perspective, la recherche doit se prémunir contre des menaces précises à la validité interne, parmi lesquelles l’histoire (événements extérieurs survenant entre le pré-test et le post-test), la maturation (processus internes liés au temps, comme le vieillissement ou la fatigue), et l’effet de test (familiarisation avec les questionnaires). Le groupe de comparaison subit théoriquement ces mêmes menaces, permettant de soustraire leur impact de l’estimation de l’effet propre de l’intervention.
Enfin, la psychologie sociale apporte son propre ancrage théorique par l’intermédiaire de la théorie de la comparaison sociale de Leon Festinger (1954). Bien que Festinger ait théorisé le besoin psychologique fondamental des individus d’évaluer leurs propres opinions et aptitudes en se comparant à autrui, cette dynamique humaine s’applique par analogie au chercheur : aucune évaluation absolue d’un comportement, d’un état affectif ou d’une performance cognitive n’est interprétable sans un standard de comparaison explicite et normé.
7. Composantes clés, types et dimensions
Les groupes de comparaison se déclinent en plusieurs modalités opérationnelles selon les contraintes de l’étude, les impératifs éthiques et la nature des variables explorées :
- Groupe témoin sur liste d’attente (waitlist control) : Les participants répondent aux critères d’inclusion mais voient leur prise en charge différée. Ils bénéficient de l’intervention une fois la phase de mesure expérimentale achevée. Cela garantit un accès éthique au traitement tout en offrant une base comparative non traitée temporaire.
- Groupe de comparaison sous traitement habituel (treatment-as-usual – TAU) : Fréquemment utilisé en recherche clinique, ce groupe continue de recevoir les soins médicaux ou psychothérapeutiques standards disponibles, sans adjonction du nouveau protocole expérimental. Il permet d’évaluer l’efficacité incrémentale d’une nouvelle thérapie.
- Groupe témoin actif ou d’attention (active / attention control) : Les sujets participent à des sessions de durée et de fréquence identiques à celles du groupe expérimental, recevant une écoute empathique ou des activités neutres, mais sans les composantes thérapeutiques actives ciblées. Cela permet d’isoler l’impact des facteurs relationnels non spécifiques.
- Groupe placebo psychologique ou comportemental : Ce groupe reçoit une intervention conçue pour paraître plausible et susciter des attentes d’amélioration comparables, mais dénuée du mécanisme d’action spécifique postulé par la théorie.
- Groupe de comparaison non équivalent : Issu de devis quasi expérimentaux, ce groupe est sélectionné dans un environnement parallèle (par exemple, une classe d’école voisine ou un autre service hospitalier). Il ne fait pas l’objet d’une randomisation, ce qui exige des ajustements statistiques pré-interventionnels approfondis.
- Groupe témoin historique : Données colligées rétrospectivement sur une cohorte antérieure ayant été suivie dans des conditions similaires avant l’introduction d’un nouveau protocole clinique ou organisationnel.
8. Exemples et cas illustratifs
Considérons l’évaluation d’un programme novateur de gestion du stress basé sur la pleine conscience auprès d’infirmiers hospitaliers travaillant en soins intensifs. Pour des raisons d’organisation des plannings, il est impossible de tirer au sort individuellement les soignants. Les chercheurs mettent alors en place un devis quasi expérimental où l’équipe des soins intensifs d’un hôpital A suit le protocole de formation (groupe d’intervention), tandis que l’équipe d’un hôpital B aux caractéristiques structurelles similaires sert de groupe de comparaison en poursuivant ses activités normales. La comparaison des niveaux de cortisol salivaire et des scores d’épuisement professionnel avant et après l’intervention permet de neutraliser l’impact d’une éventuelle vague épidémique saisonnière qui aurait touché les deux hôpitaux au même moment.
Dans un autre registre, celui de la psychologie de l’éducation, un chercheur souhaite vérifier l’efficacité d’une méthode d’apprentissage assistée par ordinateur pour la lecture chez des élèves de cours préparatoire. Si le chercheur se contentait de mesurer les compétences des enfants au début et à la fin de l’année scolaire, l’amélioration constatée relèverait en grande partie du développement cognitif naturel des enfants. En intégrant un groupe de comparaison d’élèves du même âge et de milieu socioculturel analogue suivant une méthode pédagogique conventionnelle, le gain spécifiquement attribuable à l’outil numérique peut être rigoureusement isolé.
Enfin, en neuropsychologie clinique, lors de l’étude de la récupération cognitive post-AVC chez de jeunes adultes, un groupe de comparaison composé de volontaires sains appariés pour l’âge, le sexe et le niveau de scolarité est indispensable. Ce groupe de référence sain permet d’établir des scores normatifs sur des batteries de tests d’attention et de mémoire de travail, déterminant ainsi avec précision l’ampleur du déficit neurologique et la réalité d’une éventuelle rémission fonctionnelle.
9. Mesure et évaluation méthodologique
La valeur méthodologique d’un groupe de comparaison dépend de la précision avec laquelle la ressemblance initiale entre les groupes est vérifiée et maintenue. La première étape consiste à administrer un pré-test standardisé mesurant non seulement la variable dépendante d’intérêt (par exemple, le score de dépression sur l’échelle de Hamilton), mais également une série de variables covariables pronostiques majeures.
Pour contrer les risques de biais de sélection inhérents aux groupes de comparaison non randomisés, les méthodologistes s’appuient sur des techniques d’appariement avancées. L’une des plus reconnues est l’appariement sur le score de propension (propensity score matching). Cette méthode statistique condense l’ensemble des caractéristiques observées d’un sujet (antécédents cliniques, âge, statut socio-économique) en une probabilité unique d’appartenir au groupe d’intervention. Les chercheurs associent ensuite chaque participant du groupe expérimental à un sujet du groupe de comparaison présentant un score de propension quasi identique, simulant a posteriori les conditions d’un équilibre aléatoire.
Durant le déroulement de l’étude, l’évaluation doit également surveiller l’attrition différentielle, c’est-à-dire le taux d’abandon au sein de chaque groupe. Si les participants les plus vulnérables du groupe de comparaison abandonnent l’étude par démotivation alors que le groupe expérimental reste stable, l’équivalence initiale est détruite, créant un biais d’attrition majeur. Les modèles statistiques en intention de traiter (intention-to-treat) et les imputations multiples sont alors déployés pour préserver l’intégrité des estimations.
10. Applications et pertinence pratique
En psychothérapie et en psychiatrie, l’utilisation de groupes de comparaison sous traitement habituel constitue le standard d’excellence pour l’évaluation des interventions fondées sur des preuves. Elle assure que les cliniciens ne recommandent pas de thérapies coûteuses ou chronophages si celles-ci ne démontrent pas une supériorité tangible par rapport aux approches couramment dispensées en médecine de première ligne.
Dans le domaine organisationnel, les départements de ressources humaines et les psychologues du travail recourent aux groupes de comparaison pour valider l’impact de programmes de leadership ou de prévention des risques psychosociaux. En appliquant un programme pilote à une division régionale tout en maintenant les autres divisions comme groupes de référence, l’organisation s’assure que les modifications de productivité ou de climat social ne découlent pas simplement de variations de conjoncture économique ou de saisonnalité commerciale.
Dans le secteur des politiques publiques et de l’aide sociale, l’évaluation d’impact de nouveaux programmes de réinsertion ou de subventions ciblées dépend quasi exclusivement de devis à groupes de comparaison. Les économistes et les psychologues communautaires analysent les données de populations témoins vivant dans des municipalités voisines afin de justifier l’allocation de fonds publics à grande échelle.
11. Recherche et données empiriques
Une vaste littérature méthodologique a documenté les divergences de résultats observées selon la nature du groupe de comparaison sélectionné. Dans une méta-analyse devenue classique, Lambert et Bergin (1994) ont démontré que les études utilisant des groupes témoins sur liste d’attente rapportaient des tailles d’effet nettement supérieures pour les psychothérapies que les études mobilisant des groupes témoins actifs ou recevant un placebo psychologique. L’attente passive peut en effet induire un phénomène de démoralisation chez les participants témoins, aggravant artificiellement leurs symptômes et gonflant par contrecoup l’effet relatif du groupe expérimental.
Les recherches empiriques menées par William R. Shadish et ses collègues (2008) ont examiné la validité empirique des devis quasi expérimentaux en comparant directement leurs résultats à ceux d’essais randomisés menés sur les mêmes problématiques. Leurs conclusions indiquent que lorsque le groupe de comparaison est rigoureusement apparié sur des mesures pré-interventionnelles riches et que les biais d’auto-sélection sont contrôlés statistiquement, les groupes de comparaison non randomisés peuvent reproduire les estimations d’effets issues d’essais randomisés avec un haut degré de concordance.
Par ailleurs, les travaux d’Ioannidis (2005) sur la reproductibilité scientifique soulignent que l’absence ou la mauvaise conception des groupes de comparaison figure parmi les causes principales de publication de faux positifs en recherche biomédicale et comportementale. L’estimation causale robuste demeure précaire dès lors que le contrefactuel n’est pas convenablement opérationnalisé.
12. Considérations culturelles et transculturelles
La transposition d’un protocole de recherche dans des contextes culturels variés complexifie considérablement la constitution de groupes de comparaison pertinents. Ce qui constitue un « traitement habituel » ou une « condition contrôle » dans un système de soins occidental peut être totalement absent ou profondément différent dans un pays en développement ou au sein de communautés autochtones. Dans ces contextes, un groupe sous traitement standard n’a pas la même signification clinique ni la même équivalence écologique.
De surcroît, les biais d’attente et l’effet Hawthorne (la modification du comportement des individus due au simple fait de se savoir observés) varient selon les normes culturelles relatives à l’autorité médicale ou institutionnelle. Dans certaines cultures collectivistes, la participation à un groupe de comparaison peut induire une réticence à exprimer des insatisfactions ou, à l’inverse, un désir marqué de complaisance envers les expérimentateurs, modifiant ainsi les scores de base indépendamment de toute intervention.
Les chercheurs transculturels doivent s’assurer de l’équivalence de mesure (invariance de mesure) des instruments psychométriques administrés au groupe d’intervention et au groupe de comparaison. Si un instrument d’évaluation ne possède pas la même structure factorielle ou la même signification sémantique au sein de sous-groupes ethnoculturels différents, toute comparaison numérique directe des scores entre ces groupes devient fallacieuse.
13. Critiques, débats et limites
Le recours à des groupes de comparaison suscite d’intenses débats, au premier rang desquels figurent les dilemmes éthiques. En psychopathologie sévère, maintenir des individus souffrant de dépression majeure ou d’idées suicidaires au sein d’un groupe sans traitement ou sur liste d’attente prolongée est déontologiquement inacceptable selon les déclarations éthiques internationales comme la Déclaration d’Helsinki de l’Association médicale mondiale. La recherche doit alors obligatoirement s’orienter vers des comparaisons avec le meilleur traitement existant (active comparator), ce qui réduit la taille des effets statistiques observables et exige des échantillons bien plus massifs pour atteindre une puissance statistique adéquate.
Une autre critique récurrente concerne les biais de contamination ou de diffusion de traitement. Lorsque le groupe expérimental et le groupe de comparaison évoluent à proximité (par exemple, des étudiants d’un même campus ou des collègues d’une même entreprise), les membres du groupe expérimental partagent fréquemment leurs outils, connaissances ou stratégies avec les membres du groupe témoin. Cette contamination érode la distinction entre les conditions et atténue artificiellement les différences observées à l’issue de l’étude.
Enfin, sur le plan épistémologique, certains théoriciens de la psychologie qualitative et constructiviste critiquent la logique contrefactuelle elle-même. Ils avancent que le comportement humain est si éminemment contextualisé et idiosyncrasique que l’idée même d’une « comparabilité parfaite » entre deux êtres humains relève d’une illusion positiviste, plaidant pour une analyse approfondie des processus individuels plutôt que pour l’agrégation de moyennes de groupes.
14. Termes connexes et distinctions
Pour clarifier la nomenclature méthodologique, il est essentiel de distinguer le groupe de comparaison de concepts apparentés :
- Groupe de comparaison vs Groupe contrôle / témoin (Control group) : Tout groupe contrôle est un groupe de comparaison, mais la réciproque n’est pas vraie. Le groupe contrôle désigne spécifiquement le groupe d’un essai randomisé où les sujets ont été assignés de manière purement aléatoire, tandis que le terme groupe de comparaison s’applique plus largement, incluant les devis quasi expérimentaux non randomisés.
- Groupe expérimental (Experimental group) : C’est le pôle opposé du groupe de comparaison. Il s’agit de la cohorte qui reçoit directement la variable manipulée, l’intervention innovante ou le traitement dont on cherche à déterminer l’effet.
- Groupe normatif (Normative group) : Utilisé en psychométrie lors de l’étalonnage des tests, le groupe normatif est un large échantillon représentatif de la population générale servant à établir des barèmes de scores (déciles, écarts-types), sans visée d’expérimentation d’un traitement spécifique.
- Groupe de référence épidémiologique : En santé publique, il désigne la tranche de la population non exposée à un facteur de risque déterminé (par exemple, les non-fumeurs), à laquelle on compare la fréquence d’apparition d’une maladie chez les sujets exposés.
15. Résumé et points clés
Le groupe de comparaison constitue un instrument méthodologique central dans la boîte à outils du chercheur en psychologie. En fournissant l’estimation la plus tangible de l’état contrefactuel — ce qui serait advenu sans l’intervention —, il permet d’isoler l’impact réel d’une variable indépendante en contrôlant les menaces majeures à la validité interne comme la maturation, l’histoire et la régression statistique.
Son utilisation nécessite une vigilance permanente quant aux risques de biais de sélection, d’attrition différentielle et de contamination. Qu’il prenne la forme d’un groupe sous traitement habituel, d’une cohorte sur liste d’attente ou d’un groupe témoin actif, son choix dépend d’un équilibre rigoureux entre faisabilité logistique, puissance statistique et impératifs déontologiques. Sans lui, l’affirmation d’un lien de causalité en sciences humaines perdrait toute prétention à la scientificité.
Références
- Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Rand McNally.
- Cook, T. D., & Campbell, D. T. (1979). Quasi-experimentation: Design & analysis issues for field settings. Houghton Mifflin.
- Festinger, L. (1954). A theory of social comparison processes. Human Relations, 7(2), 117-140. https://doi.org/10.1177/001872675400700202
- Ioannidis, J. P. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
- Lambert, M. J., & Bergin, A. E. (1994). The effectiveness of psychotherapy. In A. E. Bergin & S. L. Garfield (Eds.), Handbook of psychotherapy and behavior change (4th ed., pp. 143-189). John Wiley & Sons.
- Rubin, D. B. (1974). Estimating causal effects of treatments in randomized and nonrandomized studies. Journal of Educational Psychology, 66(5), 688-701. https://doi.org/10.1037/h0037350
- Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Wadsworth Cengage Learning.
- Shadish, W. R., Clark, M. H., & Steiner, P. M. (2008). Can nonrandomized experiments yield accurate estimates of causal effects? A randomized experiment comparing random and nonrandom assignment. Journal of the American Statistical Association, 103(484), 1334-1344. https://doi.org/10.1198/016214508000000733