Randomisation par blocs : Équilibre expérimental

Dans le domaine de la recherche scientifique et de la psychologie expérimentale, l’attribution méthodique des participants à différents groupes d’intervention constitue la pierre angulaire de l’inférence causale. La randomisation par blocs s’impose comme une technique fondamentale de conception méthodologique, conçue pour maintenir un équilibre rigoureux et constant dans la distribution des effectifs entre les bras de traitement tout au long du processus de recrutement. En neutralisant les biais d’allocation temporels et en optimisant la puissance statistique, ce protocole garantit une comparabilité exemplaire des cohortes expérimentales et témoins.

Randomisation par blocs

1. Définition concise

La randomisation par blocs désigne un procédé d’attribution aléatoire restreinte utilisé dans les essais cliniques et les protocoles expérimentaux, consistant à segmenter la séquence d’inclusion en sous-ensembles prédéterminés de taille uniforme ou variable au sein desquels les différentes conditions expérimentales sont réparties selon un ratio spécifié. Cette méthode vise à assurer une égalité numérique ou proportionnelle stricte entre les groupes d’étude à intervalles réguliers au cours du recrutement des sujets.

Sur le plan conceptuel, ce dispositif évite le déséquilibre numérique que la randomisation simple peut générer de manière aléatoire, en particulier lorsque la taille globale de l’échantillon est restreinte ou modérée. Chaque bloc regroupe ainsi un nombre fini d’assignations potentielles combinant l’ensemble des modalités du traitement de façon équilibrée, garantissant que le nombre de participants alloués à chaque groupe demeure virtuellement identique à l’issue de chaque bloc complété.

Dans les sciences comportementales et psychologiques, la randomisation par blocs permet d’immuniser l’expérience contre les effets perturbateurs liés à la dérive temporelle, aux fluctuations saisonnières des symptômes cliniques et aux changements méthodologiques survenant pendant de longues phases d’inclusion des patients.

2. Étymologie et origine linguistique

Le syntagme « randomisation par blocs » est issu de la convergence entre la terminologie statistique anglophone et des racines linguistiques romanes et germaniques. Le terme « randomisation » dérive de l’anglais randomization, forgé à partir de l’adjectif random (signifiant « fait au hasard »), dont l’origine ultime remonte à l’ancien français randon, qui désignait l’élan, la fougue ou une course impétueuse et imprévisible au Moyen Âge.

Le vocable « bloc », quant à lui, tire son origine du moyen néerlandais blok, désignant une souche, une masse compacte ou une pièce solide formant un ensemble homogène. Emprunté par le français dès le XIIIe siècle, le mot a progressivement revêtu le sens métaphorique d’une unité composite fonctionnant comme une entité indivisible ou un sous-ensemble distinct dans un agencement séquentiel.

L’association des deux termes a été introduite formellement dans la littérature statistique au cours du XXe siècle, sous l’influence des travaux agronomiques et biométriques menés au Royaume-Uni. La formalisation mathématique de l’assignation par permutation restreinte a progressivement été adoptée par la psychologie expérimentale et la médecine pour codifier la création d’unités de randomisation successives.

3. Prononciation et forme grammaticale

Sur le plan phonétique, l’expression se transcrit dans l’alphabet phonétique international sous la forme : /ʁɑ̃.dɔ.mi.za.sjɔ̃ paʁ blɔk/. La syllabe accentuée finale de chaque élément porte l’accent tonique principal propre à la prosodie française standard.

Du point de vue grammatical, il s’agit d’un syntagme nominal féminin composé du nom commun principal « randomisation », de la préposition de moyen « par » et du nom masculin « blocs », généralement employé au pluriel pour refléter la répétition structurelle du procédé. On rencontre parfois dans la littérature francophone le synonyme « répartition aléatoire par blocs » ou « randomisation en blocs ».

L’utilisation de ce terme est systématique dans les protocoles d’investigation clinique, les devis de recherche quantitative et les manuels de biostatistique. L’accord grammatical des adjectifs associés s’opère au féminin singulier lorsqu’ils qualifient le processus (« une randomisation par blocs stratifiée ») ou au masculin pluriel lorsqu’ils caractérisent les sous-unités elles-mêmes (« des blocs permutés équilibrés »).

4. Explication conceptuelle détaillée

La randomisation par blocs répond à une problématique fondamentale inhérente aux modèles probabilistes purs : dans une randomisation simple non restreinte (assimilable au tirage à pile ou face), des écarts substantiels entre les effectifs des groupes peuvent survenir par pur hasard. Plus l’échantillon est restreint, plus la probabilité d’observer une disparité numérique majeure entre le groupe expérimental et le groupe contrôle augmente, ce qui réduit la puissance statistique des tests d’hypothèse et complique l’interprétation des résultats.

Pour illustrer ce mécanisme, considérons un essai comparant une psychothérapie innovante (Groupe A) à une prise en charge standard (Groupe B). Si le chercheur définit une taille de bloc égale à 4, chaque bloc contiendra obligatoirement 2 assignations pour le Groupe A et 2 assignations pour le Groupe B. L’ordre spécifique d’attribution au sein de chaque bloc est déterminé de manière aléatoire en sélectionnant l’une des six permutations possibles : (AABB, ABAB, ABBA, BAAB, BABA, BBAA). Lorsque les quatre premiers participants sont intégrés, l’équilibre numérique est rigoureusement atteint.

L’un des avantages conceptuels cruciaux de la méthode réside dans le contrôle des variables confondantes dépendantes du temps. Dans les études longitudinales en psychologie, le profil des participants peut évoluer : par exemple, les sujets recrutés en début d’étude peuvent être plus sévèrement atteints que ceux inclus ultérieurement, ou l’habileté des thérapeutes peut s’accroître avec la pratique. La randomisation par blocs assure que les deux conditions thérapeutiques accueillent une proportion égale de participants à chaque période de l’expérimentation, préservant ainsi la validité interne du devis expérimental.

Néanmoins, la randomisation par blocs engendre un risque épistémologique spécifique : la prévisibilité potentielle de la séquence d’allocation. Si les investigateurs découvrent la taille des blocs et ne sont pas soumis à un aveugle strict, ils peuvent déduire l’assignation du dernier participant d’un bloc dès lors que les attributions précédentes sont connues. Ce phénomène de bris d’aveugle peut introduire un biais de sélection insidieux lors de l’inclusion des sujets.

Pour neutraliser cette vulnérabilité, les méthodologistes recommandent d’utiliser des blocs de tailles variables et aléatoires (par exemple, alterner imprévisiblement des blocs de 4, 6 et 8 unités). Cette précaution interdit toute déduction logique de la part des cliniciens évaluateurs et protège l’intégrité de l’assignation en double aveugle tout en conservant l’équilibre numérique global à moyen terme.

5. Évolution historique

Les prémices de la randomisation par blocs trouvent leur ancrage dans les travaux révolutionnaires de Ronald Aylmer Fisher à la station expérimentale de Rothamsted dans les années 1920. Confronté à l’hétérogénéité des sols agricoles et aux gradients spatiaux d’humidité ou de nutriments, Fisher développa le concept de « blocs aléatoires complets » (randomized complete block design). Cette méthode consistait à diviser un terrain en parcelles homogènes (les blocs) au sein desquelles tous les traitements agricoles étaient appliqués de manière aléatoire, neutralisant ainsi la variabilité spatiale.

La transposition de cette méthodologie agronomique aux sciences humaines et biomédicales s’est accélérée après la Seconde Guerre mondiale. Sir Austin Bradford Hill joua un rôle déterminant en 1948 lors du célèbre essai du Medical Research Council sur l’efficacité de la streptomycine contre la tuberculose pulmonaire. Bradford Hill perfectionna l’allocation dissimulée et l’équilibrage temporel en utilisant des listes de nombres aléatoires structurées par séquences fermées.

Durant les décennies 1960 et 1970, la psychologie expérimentale et la psychiatrie ont formellement intégré ces techniques afin d’accroître la rigueur de leurs devis expérimentaux. Des statisticiens tels que Colin White et Richard Peto ont démontré mathématiquement que la randomisation par blocs permettait d’éviter des pertes de puissance statistique considérables lors des analyses intermédiaires planifiées dans les protocoles thérapeutiques.

Avec l’essor de l’informatique dans les années 1980 et 1990, les listes manuelles et les tables de nombres aléatoires ont cédé la place à des générateurs algorithmiques sophistiqués. La formalisation internationale des critères méthodologiques, incarnée notamment par la déclaration CONSORT (Consolidated Standards of Reporting Trials), a érigé la transparence du processus de randomisation en exigence scientifique incontournable, stipulant l’obligation de préciser la méthode de blocage et les mesures de masquage adoptées.

6. Fondements théoriques

Sur le plan épistémologique, la randomisation par blocs repose sur le paradigme contre-factuel de l’inférence causale, souvent formalisé par le modèle de causalité de Rubin (Rubin Causal Model). L’objectif ultime de toute expérimentation clinique ou psychologique est de mesurer la différence entre la réponse observée chez un individu soumis à une condition expérimentale et la réponse théorique qu’aurait manifestée ce même individu s’il avait été exposé au groupe témoin au même moment.

Dans l’impossibilité métaphysique d’observer simultanément ces deux états potentiels chez un même sujet, la randomisation pure cherche à créer l’échangeabilité (exchangeability) parfaite des groupes. La randomisation par blocs affine ce principe en restreignant l’espace probabiliste des permutations d’assignation afin d’annihiler la covariance résiduelle entre le temps d’inclusion (ou les variables stratifiées) et le groupe de traitement assigné.

Du point de vue de la théorie des probabilités, l’assignation au sein d’un bloc constitue un tirage sans remise jusqu’à l’épuisement du bloc considéré. Contrairement aux épreuves de Bernoulli indépendantes régissant la randomisation simple, la probabilité d’assignation conditionnelle d’un sujet donné dépend étroitement de la distribution des sujets précédents au sein du même bloc. Cette dépendance séquentielle est précisément le mécanisme mathématique qui impose l’équilibre des effectifs.

Enfin, dans le cadre de l’inférence par randomisation formulée par Fisher, l’agencement en blocs permet de conditionner les tests statistiques non paramétriques (comme les tests de permutation) sur la structure même des blocs. Cette approche garantit la validité exacte des seuils de significativité statistique (valeurs p), en harmonisant l’analyse inférentielle avec la structure architecturale exacte de la collecte des données empiriques.

7. Composantes clés, types et dimensions

La randomisation par blocs se décline en plusieurs modalités selon les besoins de contrôle et la complexité des devis expérimentaux :

• Taille de bloc fixe : Protocole dans lequel chaque bloc possède un effectif constant immuable (par exemple, systématiquement 4 ou 6 participants). Bien que simple à administrer, cette approche présente une vulnérabilité accrue au décryptage de l’allocation lorsque l’évaluation clinique n’est pas rigoureusement masquée.
• Taille de bloc variable ou aléatoire (permuted block randomization) : Approche méthodique consistant à alterner aléatoirement la taille des blocs consécutifs (par exemple, succession imprévisible de blocs de taille 2, 4, 6 ou 8). Cette stratégie rend virtuellement impossible la prédiction de la condition suivante par les investigateurs de terrain.
• Randomisation par blocs stratifiée : Combinaison de la randomisation par blocs et de la stratification pronostique. L’échantillon global est partitionné en sous-strates basées sur des variables clés (tranche d’âge, sévérité initiale du trouble, genre ou centre de recrutement), et une séquence indépendante de blocs est déployée au sein de chaque strate pour assurer un équilibre parfait sur ces dimensions spécifiques.
• Ratio d’allocation non unitaire : Conception adaptée aux protocoles nécessitant une exposition différentielle aux traitements (par exemple, 2 participants traités pour 1 témoin, ratio 2:1). Les blocs sont alors calibrés pour respecter scrupuleusement cette proportion mathématique (par exemple, des blocs de 6 contenant 4 traitements A et 2 contrôles B).
• Mécanisme de dissimulation de la séquence (allocation concealment) : Composante architecturale indispensable qui sépare la génération mathématique de la liste de blocs de l’inclusion pratique des participants, empêchant l’expérimentateur de modifier l’ordre d’attribution.

8. Exemples et cas illustratifs

Afin de concrétiser l’application pratique de cette technique, examinons trois cas d’étude représentatifs dans le champ de la psychologie et des neurosciences comportementales.

Dans une recherche clinique évaluant l’efficacité d’une thérapie d’acceptation et d’engagement (ACT) face à une thérapie cognitivo-comportementale classique (TCC) pour le trouble anxieux généralisé, les chercheurs prévoient d’inclure 60 patients sur une période de 18 mois. En appliquant une randomisation par blocs de taille 4, l’algorithme génère des séquences fermées de type (ACT, TCC, TCC, ACT). Si un événement extérieur majeur survient au sixième mois (comme une crise sanitaire ou une perturbation contextuelle collective), l’égalité numérique des groupes recrutés jusqu’alors neutralise tout déséquilibre systématique dû à cet événement.

Considérons un deuxième exemple en psychologie du développement examinant l’impact d’un entraînement de la mémoire de travail sur les capacités métacognitives d’enfants scolarisés. Sachant que le niveau scolaire influence fortement la réceptivité à l’intervention, l’équipe met en œuvre une randomisation par blocs stratifiée selon deux strates d’âge : 6-8 ans et 9-11 ans. À l’intérieur de chaque strate, des blocs aléatoires de tailles 4 et 6 garantissent que le groupe entraîné et le groupe témoin actif restent rigoureusement équilibrés au regard de la maturité cognitive tout au long du processus expérimental.

Un troisième cas concerne un protocole en neuropsychologie multicentrique portant sur la réhabilitation post-accident vasculaire cérébral au sein de quatre hôpitaux universitaires. Le recrutement des patients varie fortement d’un site à l’autre en raison de la disparité des flux d’admission. L’utilisation d’une randomisation par blocs dédiée par centre assure qu’à tout moment, chaque hôpital maintient un ratio de 1:1 entre les groupes, évitant ainsi qu’un centre particulier ne surreprésente l’un des bras de traitement et ne contamine l’analyse par un effet de site incontrôlé.

9. Mesure, évaluation et mise en œuvre

La mise en œuvre contemporaine de la randomisation par blocs requiert des outils technologiques et méthodologiques stricts garantissant la reproductibilité, l’impartialité et l’imperméabilité aux interférences humaines.

Sur le plan algorithmique, la génération de la séquence repose sur des générateurs de nombres pseudo-aléatoires cryptographiquement sûrs intégrés dans des environnements de calcul statistique reconnus tels que le langage R (à l’aide de paquets spécialisés comme blockrand ou randomizeR) ou SAS. Ces outils informatiques permettent d’établir une graine de départ (seed) reproductible par un auditeur indépendant, tout en maintenant la liste secrète pour les cliniciens et expérimentateurs de terrain.

L’intégrité de la randomisation par blocs est évaluée empiriquement lors des audits d’essais cliniques par le contrôle de l’étanchéité du masquage. Traditionnellement, ce masquage était matérialisé par des enveloppes opaques scellées et numérotées séquentiellement, préparées par un statisticien indépendant. Aujourd’hui, la norme méthodologique d’excellence repose sur des systèmes de randomisation centralisés interactifs par interface web (IWRS, pour Interactive Web Response System). L’expérimentateur n’obtient l’attribution de son participant qu’une fois l’inclusion définitivement confirmée et enregistrée de manière irréversible dans la base de données.

Enfin, la vérification a posteriori de la qualité de la randomisation passe par l’analyse des tableaux d’équilibre initial (Table 1 des publications scientifiques). Les chercheurs comparent les caractéristiques sociodémographiques et cliniques basales des différents groupes à l’aide de statistiques descriptives et de mesures de taille d’effet standardisées (comme le d de Cohen ou la différence standardisée moyenne) afin de vérifier l’absence d’anomalies de distribution.

10. Applications et portée pratique

La randomisation par blocs s’applique à un large spectre de disciplines des sciences de la santé et du comportement, fournissant une structure d’attribution robuste dans des contextes hautement différenciés.

En psychopharmacologie et en psychiatrie biologique, elle constitue l’armature standard des essais de phase II et III évaluant des molécules psychotropes contre placebo. L’exigence de pratiquer des analyses intermédiaires planifiées sans compromettre la puissance statistique globale impose l’équilibre strict que seuls les blocs permettent de maintenir de manière continue.

Dans le domaine des interventions psychothérapeutiques et comportementales, où l’aveugle total des praticiens est fréquemment impossible en raison de la nature verbale et relationnelle des traitements, la randomisation par blocs variables est essentielle. Elle empêche les thérapeutes de deviner à quel groupe appartiendra le prochain patient admissible, protégeant ainsi le protocole contre l’exclusion sélective involontaire de cas jugés plus complexes.

En psychologie organisationnelle et en ergonomie cognitive, cette méthode est largement mobilisée lors de la mise en place d’expérimentations sur le lieu de travail. Lorsque les cohortes d’employés sont formées par vagues successives d’embauche ou de formation continue, le blocage temporel assure une répartition parfaitement homogène des agents entre les différentes modalités d’intervention pédagogique ou ergonomique.

11. Recherche et données empiriques

La littérature méthodologique et méta-épidémiologique a abondamment exploré l’efficacité et les écueils de la randomisation par blocs. Les travaux fondateurs de Kenneth Schulz et David Altman ont constitué des jalons décisifs dans la compréhension des mécanismes de biais liés à l’assignation aléatoire.

Dans une méta-analyse empirique devenue classique, Schulz et ses collaborateurs (1995) ont examiné plusieurs centaines d’essais contrôlés randomisés et ont démontré que les études présentant une dissimulation inadéquate ou incertaine de la séquence d’allocation — situation particulièrement critique lorsque des blocs fixes de petite taille non masqués sont employés — produisaient une surestimation systématique de l’effet thérapeutique pouvant atteindre 30 à 40 % par rapport aux essais conduits sous aveugle rigoureux.

Des simulations statistiques poussées, telles que celles menées par Berger et Exner (1999), ont mis en exergue le phénomène du « biais de sélection convergent » (selection bias) provoqué par la déduction séquentielle des allocations au sein de blocs fixes connus. Ces chercheurs ont formellement prouvé que la variabilité de la taille des blocs réduisait drastiquement la proportion d’allocations prévisibles, confirmant ainsi l’absolue nécessité d’abandonner les blocs constants au profit de séquences permuteuses aléatoires.

Par ailleurs, les recherches de Kahan et Morris (2012) ont souligné l’importance méthodologique de prendre en compte la structure par blocs lors de l’analyse statistique finale. Leurs modélisations indiquent que l’omission d’un terme d’ajustement pour les facteurs de stratification ou de blocage dans les modèles de régression linéaire ou logistique peut conduire à une sous-estimation artificielle des erreurs types et à une inflation du risque de faux positifs (erreur de type I).

12. Considérations culturelles et contextuelles

L’implémentation de la randomisation par blocs dans des recherches transculturelles ou des études multicentriques internationales soulève des défis logistiques et éthiques spécifiques. Les contextes socio-économiques et les représentations culturelles de la recherche médicale influencent la dynamique de recrutement et l’acceptation de l’attribution aléatoire.

Dans les essais déployés dans les pays à revenu faible ou intermédiaire, la méfiance envers les processus d’attribution aléatoire non régulés peut être vivement ressentie par les communautés locales. L’explication pédagogique du système de blocs — perçu comme un mécanisme d’équité garantissant que les deux opportunités de soins sont offertes de manière égale au sein de chaque groupe de recrutement successif — favorise l’adhésion communautaire et l’acceptabilité éthique du protocole.

D’un point de vue méthodologique, les disparités de rythme d’inclusion entre pays imposent des adaptations structurelles strictes. Dans une étude transculturelle sur la dépression périnatale menée simultanément en Europe, en Amérique latine et en Afrique subsaharienne, l’utilisation de blocs uniformes globaux conduirait inévitablement à des déséquilibres régionaux majeurs si un centre venait à recruter bien plus vite que les autres. La stratification systématique par pays combinée à des blocs indépendants courts s’avère indispensable pour préserver l’invariance de mesure et l’homogénéité des groupes locaux.

13. Critiques, débats et limites

En dépit de son omniprésence dans la littérature scientifique, la randomisation par blocs fait l’objet de plusieurs débats méthodologiques récurrents :

• Vulnérabilité au démasquage : Lorsque les essais ne peuvent pas être conduits en double aveugle strict (comme c’est souvent le cas en psychothérapie), l’utilisation de blocs fixes expose le protocole à un risque aigu de prévisibilité. Dès lors que l’investigateur devine la condition du dernier sujet d’un bloc, il peut inconsciemment orienter l’inclusion des participants, introduisant un biais majeur.
• Complexité analytique sous-estimée : De nombreux chercheurs négligent le fait que la randomisation par blocs restreint l’indépendance statistique des observations. Analyser les données issues d’une randomisation par blocs comme s’il s’agissait d’une randomisation simple viole les postulats d’indépendance de plusieurs tests paramétriques, bien que cette violation soit souvent tolérée dans la pratique conventionnelle.
• Inefficacité relative dans les très grands échantillons : Pour les cohortes de très grande envergure (plusieurs milliers de sujets), la loi des grands nombres assure un équilibre quasi parfait spontané sous randomisation simple. L’introduction de blocs n’apporte alors qu’un gain marginal tout en alourdissant la logistique opérationnelle.
• Concurrence avec la minimisation : Dans les essais nécessitant la prise en compte simultanée de multiples facteurs pronostiques (âge, comorbidités, biomarqueurs), la randomisation par blocs stratifiée peut fragmenter la cohorte en un nombre excessif de sous-strates vides ou incomplètes. Des méthodologistes préconisent alors la méthode dynamique de minimisation (minimization) comme alternative plus robuste.

14. Termes connexes et distinctions

Pour appréhender pleinement la singularité de la randomisation par blocs, il convient de la distinguer précisément des concepts avoisinants :

• Randomisation simple : Attribution aléatoire pure équivalente au tirage à pile ou face, où chaque participant possède une probabilité mathématique strictement indépendante d’être alloué à chaque groupe. Contrairement à la randomisation par blocs, elle ne garantit aucun équilibre des effectifs à court ou moyen terme.
• Randomisation stratifiée : Division préalable de la population d’étude selon des strates pronostiques homogènes avant l’assignation. La randomisation par blocs est souvent combinée à la stratification, mais elle constitue un procédé de découpage séquentiel et non une classification par caractéristiques intrinsèques des sujets.
• Minimisation : Méthode d’allocation dynamique non purement aléatoire, où chaque nouveau sujet est assigné au groupe permettant de minimiser le déséquilibre global sur l’ensemble des covariables d’intérêt. Contrairement aux blocs, la minimisation s’ajuste dynamiquement à l’historique complet des inclusions.
• Randomisation en grappes (cluster randomization) : Attribution de groupes d’individus préexistants (classes d’écoles, hôpitaux entiers, villages) plutôt que de sujets isolés. La randomisation par blocs opère généralement au niveau individuel, bien qu’elle puisse être appliquée pour équilibrer l’attribution des grappes elles-mêmes.
• Pseudo-randomisation : Méthodes d’assignation systématiques déterministes (alternance un sujet sur deux, attribution selon le jour de naissance ou le numéro de dossier). Ces techniques ne sont pas aléatoires et sont universellement proscrites dans les protocoles scientifiques modernes en raison de leur prévisibilité totale.

15. Synthèse et points clés

La randomisation par blocs constitue un standard d’excellence méthodologique dans la conduite des protocoles expérimentaux contemporains. Ses enseignements majeurs se résument ainsi :

• Elle impose un équilibre quantitatif rigoureux entre les différents bras d’intervention tout au long de la période de recrutement des participants.
• Elle protège la validité interne des recherches contre les effets de dérive temporelle, les fluctuations saisonnières et les modifications d’habileté des évaluateurs.
• L’alternance imprévisible de blocs de tailles variables (2, 4, 6 ou 8) est impérative pour préserver le masquage de l’allocation et prévenir le biais de sélection dans les études non menées en double aveugle.
• Lorsqu’elle est combinée à la stratification, elle assure une répartition équilibrée tant sur les facteurs de confusion cliniques que sur les contingences temporelles ou géographiques.
• L’analyse statistique finale des données expérimentales gagne à intégrer la structure par blocs afin de maintenir un contrôle strict du risque d’erreur de première espèce.

Références

• Altman, D. G., & Bland, J. M. (1999). How to randomise. BMJ, 319(7211), 703-704. https://doi.org/10.1136/bmj.319.7211.703
• Berger, V. W., & Exner, D. V. (1999). Detecting selection bias in randomized clinical trials. Effective Clinical Practice, 2(3), 124-127.
• Fisher, R. A. (1935). The Design of Experiments. Oliver and Boyd.
• Kahan, B. C., & Morris, T. P. (2012). Reporting and analysis of trials using stratified randomisation in leading medical journals: review and reanalysis. BMJ, 345, e5840. https://doi.org/10.1136/bmj.e5840
• Schulz, K. F., Chalmers, I., Hayes, R. J., & Altman, D. G. (1995). Empirical evidence of bias: Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA, 273(5), 408-412. https://doi.org/10.1001/jama.1995.03520290060030