Dans le vaste champ des sciences du comportement, la notion d’accord constitue une pierre angulaire qui structure à la fois la rigueur des protocoles de recherche et la compréhension des dynamiques relationnelles. Qu’il s’agisse de mesurer la convergence entre plusieurs observateurs évaluant un trouble clinique ou d’analyser l’adhésion d’un individu aux croyances d’un groupe, l’accord reflète le point de jonction entre la réalité psychologique subjective et la validation empirique objective.
L’Accord en psychologie
1. Définition concise
En psychologie et en psychométrie, l’accord désigne le degré de concordance, de conformité ou de convergence absolue entre deux ou plusieurs jugements, observations, scores ou évaluations indépendantes portant sur un même phénomène psychologique ou comportemental. Sur le plan psychosocial, il caractérise l’état d’harmonie cognitive ou d’assentiment mutuel par lequel plusieurs individus partagent une interprétation, une attitude ou une décision commune face à une situation donnée.
Dans le domaine méthodologique, la notion se distingue nettement de la simple corrélation : deux juges peuvent être fortement corrélés s’ils classent des sujets dans le même ordre relatif, tout en présentant un faible accord s’ils n’attribuent pas exactement les mêmes valeurs numériques absolues. Ainsi, l’accord inter-juges (ou accord inter-évaluateurs) quantifie l’interchangeabilité effective des observateurs, garantissant que les données recueillies ne dépendent pas de l’arbitraire ou des biais idiosyncrasiques de l’évaluateur.
Dans la perspective de la psychologie sociale et cognitive, l’accord renvoie au processus par lequel des esprits distincts parviennent à un consensus normatif, qu’il résulte d’une véritable intégration d’arguments, d’un phénomène de facilitation sociale ou d’une pression vers la conformité collective. Il sous-tend ainsi les notions d’intersubjectivité, de contrat thérapeutique et de validation consensuelle de la réalité.
2. Étymologie et origine linguistique
Le terme français « accord » dérive du verbe « accorder », lui-même issu du latin populaire accordare, formé par la jonction du préfixe ad- (marquant la direction, le rapprochement) et du substantif cor, cordis (le cœur). Sa signification première renvoie littéralement au fait de « joindre les cœurs », d’unir les volontés ou d’harmoniser les sensibilités intimes.
Au fil des siècles, le mot a d’abord enrichi le vocabulaire musical pour signifier la consonance et la juste proportion harmonique entre plusieurs sonorités simultanées, avant de pénétrer le registre juridique et diplomatique pour formaliser un pacte, un traité ou un consentement réciproque. C’est au cours du XIXe siècle et au début du XXe siècle, avec l’avènement de la psychophysique et des sciences de la mesure, que le vocable a été progressivement formalisé pour exprimer la fidélité empirique entre observateurs scientifiques, s’imposant finalement en statistique appliquée sous les vocables de « concordance » et de « fidélité inter-observateurs » (traduction de l’anglais inter-rater agreement).
3. Prononciation et forme grammaticale
Sur le plan phonétique, le terme se transcrit /a.kɔʁ/ dans l’alphabet phonétique international. Il s’agit d’un substantif masculin invariable au pluriel dans sa forme phonique, bien qu’il prenne la désinence orthographique standard (« accords », /a.kɔʁ/).
Dans le discours scientifique, il s’emploie principalement sous forme de syntagmes nominaux spécialisés : « accord inter-juges », « accord inter-évaluateurs », « accord intra-juge », « degré d’accord » ou encore « matrice d’accord ». Il régit fréquemment la préposition « sur » (l’accord sur un diagnostic) ou « entre » (l’accord entre observateurs). Sur le plan des échelles de mesure, la locution adverbiale ou adjectivale « d’accord » sert de repère ordinal traditionnel dans les formats de réponse de type Likert (par exemple : « tout à fait d’accord », « en désaccord »).
4. Explication conceptuelle détaillée
L’accord psychologique opère à l’intersection de deux exigences fondamentales : la fiabilité de l’observation scientifique et la cohésion de l’expérience humaine. Dans son acception méthodologique, l’accord est une condition sine qua non de la validité de construit. Si deux cliniciens chevronnés observant le comportement d’un patient lors d’un entretien semi-structuré ne parviennent pas à un niveau d’accord suffisant concernant la présence de symptômes psychotiques ou dépressifs, l’outil d’évaluation perd sa valeur épistémique. L’accord garantit que l’observation est ancrée dans la réalité des manifestations comportementales du patient plutôt que dans l’imaginaire ou les heuristiques individuelles de l’observateur.
Il convient de conceptualiser l’accord à travers la dialectique entre accord absolu et accord relatif. L’accord relatif vérifie la cohérence du classement : si l’évaluateur A attribue les notes 2, 4, 6 à trois patients et que l’évaluateur B leur attribue 12, 14, 16, leur accord relatif est parfait (corrélation de Pearson égale à 1), mais leur accord absolu est nul, car leurs métriques d’évaluation sont décalées d’une constante systématique. L’accord absolu exige que pour une même entité évaluée, la valeur attribuée par A soit rigoureusement identique à celle attribuée par B. Cette distinction est cruciale dans les essais cliniques où un seuil d’admissibilité numérique détermine l’inclusion d’un patient dans un protocole thérapeutique.
Sur le plan de la dynamique interpersonnelle et sociocognitive, l’accord renvoie à la notion d’intersubjectivité. Il s’agit du mécanisme par lequel deux appareils psychiques découvrent ou négocient un terrain commun de signification. L’accord n’est pas un état passif ou une simple juxtaposition de pensées identiques ; il résulte d’un ajustement communicatif permanent, incluant le décodage des signaux non verbaux, la métacognition et la théorie de l’esprit. L’accord relationnel implique que chaque participant reconnaisse la validité des prémisses de l’autre, permettant ainsi la coordination de l’action, l’empathie mutuelle et la coopération au sein des groupes humains.
Enfin, les limites de l’accord doivent être soulignées avec prudence. Un niveau d’accord élevé n’est pas synonyme de vérité objective. Un groupe d’observateurs partageant les mêmes préjugés théoriques, culturels ou méthodologiques peut afficher un accord presque parfait tout en se fourvoyant collectivement sur la nature exacte du phénomène mesuré. L’accord représente une mesure de précision et de consistance, mais ne garantit pas à lui seul l’exactitude de la mesure (validité de contenu ou de critère).
5. Développement historique
L’histoire de l’accord en psychologie s’articule autour de l’évolution des critères de scientificité de la discipline. À la fin du XIXe siècle, les premiers laboratoires de psychologie expérimentale, animés notamment par Wilhelm Wundt et Francis Galton, ont rapidement été confrontés à la variabilité des données issues de l’introspection. Pour que l’observation psychologique acquière une légitimité comparable à celle des sciences physiques, il devenait impératif de démontrer que des observateurs indépendants pouvaient rapporter des descriptions concordantes d’un même état mental ou d’un même seuil sensoriel perceptif.
Au cours de la première moitié du XXe siècle, avec l’essor des tests d’intelligence (Binet-Simon, Wechsler) et des inventaires de personnalité, les psychométriciens ont initialement utilisé le coefficient de corrélation linéaire de Pearson pour évaluer la fidélité inter-observateurs. Cependant, cette méthode a rapidement révélé ses limites structurelles, car elle ignorait les biais systématiques d’évaluation entre juges et surestimait artificiellement l’accord effectif en présence de variations marginales de moyennes.
L’année 1960 marque un tournant paradigmatique majeur avec la publication par Jacob Cohen de son article séminal introduisant le kappa de Cohen. Cohen a démontré de manière irréfutable que le simple pourcentage d’accord observé était fallacieux, car il ne tenait pas compte de la probabilité que les juges tombent d’accord par simple hasard. Cette innovation a déclenché une vague féconde de modélisations mathématiques au cours des décennies 1970 et 1980 : Joseph Fleiss a étendu le kappa à plus de deux évaluateurs, Klaus Krippendorff a formalisé l’alpha pour l’analyse de contenu textuel, et les statisticiens Shrout et Fleiss ont clarifié l’usage du coefficient de corrélation intraclasse (ICC) pour les variables quantitatives continues.
Dans le domaine clinique, la crise de fidélité diagnostique observée dans les années 1960 et 1970 — où les psychiatres américains et britanniques affichaient des taux d’accord notoirement faibles sur des diagnostics majeurs comme la schizophrénie — a conduit à la refonte totale de la nosographie psychiatrique. La publication du DSM-III en 1980, sous la direction de Robert Spitzer, a fait de l’accord inter-juges le critère prépondérant d’inclusion des entités diagnostiques, standardisant les critères opérationnels pour maximiser la concordance entre praticiens à travers le monde.
6. Fondements théoriques
Les fondements théoriques de l’accord s’ancrent dans trois corpus conceptuels distincts : la théorie classique des tests, la théorie de la généralisabilité et les théories sociocognitives du consensus.
Dans le cadre de la théorie classique des tests (TCT), tout score observé ($X$) est la résultante d’un score vrai ($V$) et d’une composante d’erreur aléatoire ($E$). Dans cette optique, le manque d’accord entre deux évaluateurs mesurant le même individu au même moment est conceptualisé comme une variance d’erreur attribuable aux fluctuations subjectives de l’instrument humain. Plus l’accord inter-juges est élevé, plus la part de la variance d’erreur dans la mesure globale est réduite, maximisant ainsi le coefficient de fidélité de l’évaluation.
La théorie de la généralisabilité (théorie G), initiée par Lee Cronbach et ses collaborateurs, offre un cadre encore plus raffiné. Plutôt que de scinder la mesure en un score vrai et une erreur globale indifférenciée, elle décompose les multiples sources d’erreur (appelées « facettes ») au moyen de l’analyse de variance : la facette des sujets, la facette des juges, la facette des occasions temporelles et leurs interactions respectives. L’accord y est appréhendé comme la capacité à généraliser le score obtenu d’un évaluateur spécifique à l’ensemble de l’univers des évaluateurs compétents possibles, distinguant rigoureusement les décisions relatives des décisions absolues.
Sur le versant psychosocial, la théorie de la comparaison sociale de Leon Festinger postule que les individus éprouvent un besoin fondamental d’évaluer la validité de leurs opinions et aptitudes. Lorsque des repères physiques directs font défaut, l’accord avec autrui devient le critère prédominant de réalité subjective. L’accord valide l’expérience interne et réduit l’incertitude cognitive, ce qui explique la tendance spontanée des membres d’un groupe à aligner leurs représentations pour forger une réalité partagée (théorie de la réalité partagée de Gerald Higgins).
7. Composantes clés, types et dimensions
L’accord en psychologie se décline en une typologie structurée selon la nature des variables mesurées et le contexte d’interaction :
- Accord inter-juges (ou inter-évaluateurs) : Degré de concordance entre au moins deux professionnels ou observateurs indépendants évaluant les mêmes cibles avec les mêmes critères.
- Accord intra-juge (stabilité temporelle de l’évaluation) : Consistance avec laquelle un même observateur note de manière identique un ensemble de données comportementales réévaluées à l’aveugle après un intervalle de temps déterminé.
- Accord absolu versus accord relatif : L’accord absolu requiert l’identité exacte des valeurs numériques ou qualitatives attribuées, tandis que l’accord relatif (cohérence) n’exige que le maintien du même classement hiérarchique entre les sujets.
- Consensus social explicite : Accord formel, négocié et verbalisé entre membres d’une équipe ou d’un groupe concernant un plan d’action, une décision ou une norme collective.
- Accord implicite ou tacite : Convergence spontanée des comportements, des postures ou des affects sans négociation formelle, souvent médiée par la synchronie non verbale et la contagion émotionnelle.
- Accord multi-informateurs : Degré d’alignement entre des sources d’information hétérogènes évaluant un même individu (par exemple, la concordance entre les rapports des parents, des enseignants et de l’enfant lui-même dans les bilans psychologiques pédiatriques).
8. Exemples et cas illustratifs
Pour illustrer la portée concrète de l’accord méthodologique, considérons l’évaluation de troubles du spectre de l’autisme à l’aide de l’échelle d’observation standardisée ADOS-2 (Autism Diagnostic Observation Schedule). Deux psychologues visionnent l’enregistrement vidéo d’une passation auprès d’un enfant de 4 ans. Ils doivent coter indépendamment des comportements précis tels que le « contact visuel inhabituel » ou les « gestes descriptifs » sur une échelle ordinale de 0 à 2. Si les deux cliniciens attribuent simultanément la note de 2 au contact visuel pour 18 enfants sur 20 observés, leur accord inter-juges pour cet item est exceptionnel, attestant de la robustesse opérationnelle du critère diagnostique.
Dans le domaine de la psychologie du travail et des organisations, un cas typique concerne les comités d’étalonnage des performances annuelles. Plusieurs directeurs de département évaluent les compétences managériales de cadres intermédiaires. Sans formation préalable, l’un des évaluateurs se montre systématiquement complaisant (notant tous les collaborateurs entre 8 et 10 sur 10), tandis qu’un autre fait preuve d’une sévérité extrême (notant entre 3 et 6). Bien que leurs classements internes respectifs puissent être logiques, l’accord absolu entre les deux directeurs est dramatiquement déficient, conduisant à des iniquités flagrantes d’avancement de carrière qui nécessitent des sessions d’harmonisation de l’évaluation.
Un troisième exemple issu de la psychothérapie concerne l’alliance thérapeutique, et plus particulièrement la composante d’accord sur les objectifs et les tâches (modèle de Bordin). Dans une prise en charge cognitivo-comportementale pour un trouble panique avec agoraphobie, le thérapeute et le patient doivent parvenir à un accord explicite sur le bien-fondé de l’exposition in vivo progressive. Si le thérapeute planifie des immersions directes dans les centres commerciaux alors que le patient envisage seulement des exercices de respiration guidée, l’absence d’accord sur les tâches sabote l’engagement thérapeutique et précipite l’abandon des soins.
9. Mesure et évaluation
La quantification de l’accord psychométrique dépend fondamentalement de la nature des échelles de mesure employées (nominales, ordinales ou d’intervalle) :
Pour les données nominales (catégories qualitatives mutuellement exclusives, comme les diagnostics psychiatriques), l’outil de référence demeure le coefficient kappa de Cohen ($kappa$). Sa formule canonique s’exprime ainsi :
$$\kappa = rac{P_o – P_e}{1 – P_e}$$
où $P_o$ représente la proportion d’accord observée et $P_e$ la proportion d’accord attendue par le simple effet du hasard. Un kappa égal à 1 traduit un accord parfait, tandis qu’une valeur de 0 indique un accord strictement équivalent à celui produit par des tirages aléatoires.
Pour les variables ordinales (échelles ordonnées où les écarts entre échelons ne sont pas nécessairement égaux), le kappa pondéré (weighted kappa) attribue des pénalités différentielles aux désaccords en fonction de leur distance sur l’échelle (pondération linéaire ou quadratique). Lorsque le dispositif implique plus de deux évaluateurs simultanés sans appariement fixe, on recourt au kappa de Fleiss ou à l’alpha de Krippendorff, ce dernier présentant l’avantage insigne de s’adapter à tous les niveaux de mesure tout en tolérant des données manquantes.
Pour les variables quantitatives continues (intervalles ou rapports), l’accord absolu est rigoureusement évalué par le coefficient de corrélation intraclasse (ICC), principalement via le modèle à deux facteurs à effets aléatoires (modèle ICC(2,1) ou ICC(2,k)). Parallèlement, dans le contexte des études biomédicales et neuropsychologiques, la méthode graphique de Bland et Altman permet de visualiser l’amplitude des écarts individuels entre mesures répétées et d’établir des limites d’accord à 95 %.
10. Applications et portée pratique
Dans la pratique clinique quotidienne, l’accord est au cœur de l’éthique diagnostique. Il offre au patient la garantie qu’un diagnostic lourd de conséquences psycho-sociales et pharmacologiques (tel qu’un trouble bipolaire ou un déficit de l’attention avec hyperactivité) repose sur des critères standardisés que n’importe quel praticien qualifié validerait de manière unanime. Dans le milieu médico-légal et l’expertise psychiatrique judiciaire, la démonstration d’un haut niveau d’accord entre experts est fréquemment exigée pour établir la responsabilité pénale ou le discernement d’un accusé.
Dans le secteur éducatif et académique, l’accord entre correcteurs régit l’équité des examens nationaux et des épreuves standardisées. L’utilisation de grilles critériées d’évaluation et de séances de double correction anonyme vise précisément à maximiser l’accord inter-correcteurs, neutralisant les biais d’indulgence, d’effet de contraste ou d’ancrage cognitif propres aux évaluateurs individuels.
Dans le monde du travail, l’accord structure les méthodologies de recrutement par entretiens structurés et les évaluations dites à 360 degrés. La mesure de l’écart d’accord entre l’auto-évaluation d’un dirigeant et l’évaluation formulée par ses subordonnés constitue un levier puissant de développement personnel : une discordance marquée révèle souvent des angles morts majeurs en matière de communication ou de leadership, orientant les interventions de coaching professionnel.
11. Recherche et données empiriques
La littérature scientifique contemporaine a mis en lumière des régularités empiriques saisissantes concernant l’accord, notamment à travers le phénomène des divergences multi-informateurs. Dans une méta-analyse majeure devenue un classique de la psychopathologie développementale, Achenbach, McConaughy et Howell (1987) ont synthétisé des centaines d’études évaluant les problèmes comportementaux et émotionnels des enfants. Leurs résultats ont révélé une corrélation moyenne modeste (r = 0,28) entre les évaluations des parents et celles des enseignants, et un accord encore plus faible (r = 0,22) entre l’auto-évaluation de l’enfant et les rapports des adultes.
Ces conclusions ont été réactualisées et confirmées par De Los Reyes et al. (2015), démontrant que ces faibles taux d’accord ne constituent pas de simples erreurs de mesure statistiques ou des incompétences des observateurs, mais reflètent la véritable spécificité contextuelle des comportements humains : un enfant peut manifester une anxiété sévère à l’école sous la pression des pairs tout en paraître parfaitement serein au sein de la cellule familiale sécurisante.
Sur le plan de la psychologie sociale empirique, les recherches historiques sur le conformisme menées par Solomon Asch ont apporté la preuve expérimentale que l’accord d’un individu avec un groupe peut être simulé sous la contrainte normative. Confrontés à une majorité unanime de compères affirmant une évidence visuelle manifestement erronée, près de 75 % des participants se sont ralliés au moins une fois à l’accord erroné du groupe, illustrant la tension permanente entre accord public de surface (complaisance) et accord privé intime (conversion cognitive réelle).
12. Considérations culturelles et transculturelles
La valeur attribuée à l’accord et les modalités de son expression varient considérablement selon les contextes culturels, notamment le long de l’axe opposant individualisme et collectivisme formalisé par Geert Hofstede et Harry Triandis. Dans les cultures collectivistes (comme au Japon, en Corée ou dans plusieurs sociétés d’Asie du Sud-Est), la préservation de l’harmonie du groupe (concept de wa au Japon) et l’accord interpersonnel prévalent souvent sur l’expression unilatérale d’un désaccord ou d’une vérité individuelle divergente.
Dans ces environnements culturels, les individus emploient fréquemment des stratégies de communication à haut contexte, où l’accord de politesse superficiel est utilisé pour éviter la perte de face d’un interlocuteur, sans que cela n’implique une adhésion intime sur le fond. À l’inverse, dans les cultures occidentales individualistes à bas contexte (comme en Allemagne, aux Pays-Bas ou aux États-Unis), l’accord authentique est supposé émerger de la confrontation directe, du débat contradictoire et de l’explicitation sans fard des points de friction.
Ces disparités influencent profondément les réponses aux instruments psychométriques. Le biais d’acquiescement (la propension systématique à répondre positivement ou à cocher l’option « d’accord » indépendamment du contenu de l’item) s’avère significativement plus prononcé dans certaines cultures méditerranéennes, latino-américaines ou est-asiatiques que dans les pays d’Europe du Nord, ce qui impose aux chercheurs transculturels d’effectuer des tests rigoureux d’invariance de mesure avant de comparer directement des scores entre nations distinctes.
13. Critiques, débats et limites
L’une des controverses méthodologiques les plus célèbres de la psychométrie concerne les paradoxes du kappa de Cohen, documentés de manière éclatante par Feinstein et Cicchetti en 1990. Ces statisticiens ont démontré que lorsque la prévalence d’un trouble est extrêmement rare ou extrêmement fréquente dans un échantillon (asymétrie marginale), le coefficient kappa s’effondre dramatiquement pour atteindre des valeurs proches de zéro, même lorsque la proportion d’accord observée entre les évaluateurs dépasse les 95 %. Ce paradoxe incite de nombreux méthodologistes actuels à privilégier des indices alternatifs plus stables, tels que le coefficient AC1 de Gwet.
Sur le plan conceptuel et épistémologique, la quête obsessionnelle d’un accord parfait peut engendrer des effets pervers majeurs. Dans la recherche qualitative et clinique, contraindre les évaluateurs à s’accorder coûte que coûte risque d’étouffer les nuances herméneutiques subtiles et d’appauvrir la complexité des observations cliniques. La discordance entre deux professionnels chevronnés n’est pas obligatoirement un bruit statistique parasite ; elle signale souvent une ambiguïté réelle inhérente à l’état clinique du patient ou une pluralité légitime de grilles théoriques d’analyse.
Enfin, en psychologie des organisations et de la décision, le consensus forcé ou l’accord unanime prématuré constitue le symptôme cardinal de la « pensée de groupe » (groupthink), théorisée par Irving Janis. Lorsque les membres d’une équipe valorisent l’accord mutuel au détriment de l’analyse critique des faits, ils occultent délibérément les signaux d’alerte, rationalisent les choix douteux et prennent des décisions collectives catastrophiques.
14. Termes connexes et distinctions
Afin d’éviter tout écueil sémantique, il importe de distinguer l’accord d’une série de notions connexes fréquemment confondues dans la littérature :
- Fidélité (Fiabilité) : La fidélité est le concept métrologique parapluie qui quantifie la précision générale et la reproductibilité d’une mesure. L’accord inter-juges n’est qu’une modalité spécifique de la fidélité, aux côtés de la consistance interne (alpha de Cronbach) et de la stabilité test-retest.
- Corrélation : La corrélation évalue l’association linéaire ou le maintien de l’ordre hiérarchique entre deux séries de scores sans se soucier de l’identité des valeurs absolues, alors que l’accord psychométrique exige l’égalité absolue ou pondérée des scores attribués.
- Consensus : Le consensus représente l’aboutissement délibéré d’un processus collectif d’intégration de perspectives diverses, souvent obtenu par négociation ou compromis, tandis que l’accord peut être immédiat, tacite ou purement mécanique.
- Conformité : La conformité implique un changement d’attitude ou de comportement sous l’influence réelle ou imaginée d’une pression de groupe, tandis que l’accord n’implique pas intrinsèquement de dynamique de soumission ou de coercition psychosociale.
- Agréabilité (Agrément) : Dans le modèle des Big Five de la personnalité, l’agréabilité (Agreeableness) est un trait stable caractérisant la bienveillance, la confiance et la propension à la coopération altruiste avec autrui, à ne pas confondre avec l’accord comme acte ponctuel de jugement.
- Acquiescement : Tendance stylistique ou biais de réponse consistant à approuver systématiquement des propositions formulées sous forme déclarative, motivée par la désirabilité sociale ou une faible implication cognitive.
15. Résumé et points clés à retenir
L’accord est une notion fondamentale qui opère à la fois comme une métrique d’objectivité scientifique et comme un pivot de la vie relationnelle et sociocognitive. Sa maîtrise exige une compréhension rigoureuse de ses implications théoriques et méthodologiques :
- En psychométrie, l’accord ne se réduit jamais à une simple corrélation : il exige l’interchangeabilité concrète des mesures et l’identité des valeurs observées, corrigées pour la part inhérente au hasard (notamment via le kappa de Cohen et l’ICC).
- Dans les évaluations cliniques multi-informateurs, le manque d’accord n’est pas obligatoirement un défaut méthodologique ; il documente souvent la sensibilité des comportements aux contextes environnementaux spécifiques.
- L’accord social est sous-tendu par des dynamiques d’intersubjectivité et de comparaison sociale, mais son excès non critique peut engendrer des phénomènes délétères de conformisme aveugle et de pensée de groupe.
- La juste interprétation de l’accord requiert la prise en compte des contextes culturels, où la valorisation de l’harmonie collective ou du débat direct module la signification réelle des consentements accordés.
Références
- Achenbach, T. M., McConaughy, S. H., & Howell, C. T. (1987). Child/adolescent behavioral and emotional problems: Implications of cross-informant correlations for situational specificity. Psychological Bulletin, 101(2), 213–232. https://doi.org/10.1037/0033-2909.101.2.213
- Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. https://doi.org/10.1177/001316446002000104
- De Los Reyes, A., Augenstein, T. M., Wang, M., Thomas, S. A., Drabick, D. A., Burgers, D. E., & Rabinowitz, J. (2015). The validity of the multi-informant approach to assessing child and adolescent mental health. Psychological Bulletin, 141(4), 858–900. https://doi.org/10.1037/a0038498
- Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382. https://doi.org/10.1037/h0031619
- Krippendorff, K. (2018). Content analysis: An introduction to its methodology (4th ed.). SAGE Publications.
- Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428. https://doi.org/10.1037/0033-2909.86.2.420