1. Résumé / Abstract
Le Formulaire d’observation directe (en anglais, Direct Observation Form ou DOF ; Butterfield et al., 2023) est un instrument psychométrique et docimologique conçu pour évaluer de manière standardisée, valide et fidèle les compétences cliniques des étudiants en médecine lors de la conduite d’entretiens psychiatriques durant leur stage d’externat en psychiatrie (psychiatry clerkship). Développé sur la base des référentiels de compétences de l’Association of Directors of Medical Student Education in Psychiatry (ADMSEP ; Roman et al., 2016), l’outil a fait l’objet d’un processus rigoureux de raffinement par phase pilote avant d’être validé auprès d’une cohorte d’étudiants en troisième année de médecine. L’évaluation repose sur l’observation directe réalisée par des cliniciens superviseurs (internes seniors, chefs de clinique, praticiens hospitaliers universitaires).
Le DOF comporte quatre items cardinaux évalués sur une échelle de Likert en 5 points allant de 1 (performance insuffisante) à 5 (maîtrise exemplaire) : (1) l’ouverture et la clôture de l’entretien, (2) les techniques d’entretien, (3) la présence et l’accordage émotionnel avec le patient, et (4) l’établissement de l’alliance thérapeutique et la gestion des limites professionnelles. Le formulaire intègre également des indicateurs contextuels facultatifs (complexité clinique du cas, niveau d’exigence inhabituel de la situation) ainsi qu’un jugement global formulé sous l’angle d’une Activité Professionnelle Confiable (APC / Entrustable Professional Activity, EPA).
Sur le plan psychométrique, le DOF présente une excellente cohérence interne, attestée par un coefficient alpha de Cronbach oscillant entre 0,88 et 0,89. Sa sensibilité au changement (responsiveness) est marquée par une progression statistiquement significative des scores entre le début (temps 1) et la fin du stage (temps 2 ; p < 0,001). L’instrument démontre une remarquable validité prédictive à l’égard de la note clinique globale d’externat (p < 0,001), indépendamment des variables confondantes telles que le statut du superviseur ou la complexité du cas. De surcroît, le DOF s’associe très fortement à l’évaluation EPA (r = 0,76 au temps 1 ; r = 0,79 au temps 2, p < 0,001) tout en attestant d’une indépendance discriminante complète vis-à-vis des examens théoriques standardisés écrits (shelf exam : r = 0,10 et 0,11 ; non significatif), confirmant ainsi qu’il capture des compétences relationnelles et procédurales irréductibles aux seuls savoirs déclaratifs.
2. Mots-clés / Keywords
Observation directe, Entretien psychiatrique, Éducation médicale, Externat en psychiatrie, Activités professionnelles confiables, Compétences cliniques, Évaluation des apprentissages, Psychométrie éducative, Alliance thérapeutique, Validité écologique, Responsivité, Fidélité inter-items
3. Auteurs / Authors
Le Formulaire d’observation directe (DOF) a été formalisé, calibré et documenté par une équipe de psychiatres universitaires et de chercheurs en pédagogie médicale de l’Université du Colorado (États-Unis) :
- Austin Butterfield, MD — Département de Psychiatrie, University of Colorado School of Medicine, Anschutz Medical Campus, Aurora, CO, États-Unis. (Identifiant ORCID : 0000-0003-0231-7266 ; Courriel : [email protected]).
- Ashley Curry, PhD — Département de Psychiatrie, University of Colorado School of Medicine, Anschutz Medical Campus, Aurora, CO, États-Unis.
- Joel Yager, MD — Professeur émérite, Département de Psychiatrie, University of Colorado School of Medicine, Anschutz Medical Campus, Aurora, CO, États-Unis.
- Joseph Sakai, MD — Département de Psychiatrie, University of Colorado School of Medicine, Anschutz Medical Campus, Aurora, CO, États-Unis. (Identifiant ORCID : 0000-0003-1600-6100).
Auteur référent pour la correspondance : Dr. Austin Butterfield ([email protected]).
4. Objectif / Purpose
L’évaluation des compétences cliniques des futurs médecins lors de leurs stages hospitaliers représente un défi méthodologique et pédagogique pérenne au sein de l’enseignement médical. Historiquement, les notes d’externat ont été tributaires d’appréciations globales rétrospectives, fréquemment biaisées par l’effet de halo, le manque de standardisation et une subjectivité non contrôlée. Dans le champ spécifique de la psychiatrie, où la conduite de l’entretien clinique, la sémiologie narrative, l’empathie et la communication interpersonnelle constituent les piliers fondamentaux du diagnostic et du traitement, l’absence d’observation directe longitudinale a longtemps constitué une carence majeure.
Le Direct Observation Form (DOF) a été précisément élaboré pour pallier cette insuffisance. Son objectif premier est de fournir une évaluation structurée, objective, écologique et formative de la performance des étudiants en médecine de troisième année lors de la réalisation d’un entretien psychiatrique complet en situation clinique réelle. L’outil poursuit une double vocation pédagogique et docimologique :
- Vocation formative et rétroaction immédiate : Permettre aux superviseurs cliniques (internes, chefs de clinique, médecins seniors) de structurer leur observation en temps réel selon des descripteurs opérationnels clairs, afin de délivrer un feedback ciblé, constructif et reproductible immédiatement après l’interaction clinique.
- Vocation sommative et certification progressive : Intégrer les jalons de progression dans le cadre de l’approche par compétences (Competency-Based Medical Education, CBME). En situant la performance de l’étudiant le long d’un continuum vers l’autonomie supervisée (cadre des Entrustable Professional Activities), le DOF offre aux comités d’évaluation une mesure longitudinale solide du développement des habiletés relationnelles et diagnostiques.
Sur le plan de la recherche, le DOF fournit un cadre standardisé permettant d’évaluer l’impact d’interventions curriculaires (par exemple des ateliers de simulation ou des modules de communication thérapeutique), d’analyser les profils de trajectoire d’acquisition des compétences relationnelles et de quantifier les variations d’évaluation selon le statut hiérarchique de l’évaluateur.
5. Construit psychologique / Construct
Le DOF opérationnalise un macro-construit multidimensionnel : la compétence en communication clinique et relationnelle lors de l’entretien psychiatrique. Ce macro-construit ne se résume pas à un recueil mécanique de symptômes ou d’antécédents anamnestiques ; il engage la capacité du clinicien en formation à coordonner simultanément l’investigation phénoménologique, la régulation affective interpersonnelle et le respect du cadre déontologique. Ce modèle s’articule autour de quatre dimensions fondamentales :
1. Ouverture et clôture de l’entretien (Opening Portion and Closing of the Interview)
Cette dimension évalue l’aptitude organisationnelle et relationnelle de l’étudiant à initier et terminer la rencontre clinique. L’ouverture comprend l’accueil bienveillant du patient, les présentations formelles (identité, statut d’externe en médecine), la clarification explicite de l’objectif et de la durée anticipée de l’échange, ainsi que la négociation de l’ordre du jour (agenda setting). La phase de clôture, quant à elle, requiert une capacité de synthèse claire des éléments recueillis, la restitution des pistes diagnostiques ou thérapeutiques formulées conjointement avec le superviseur, la vérification de la compréhension et de l’assentiment du patient, et la formulation d’un plan d’action immédiat rassurant.
2. Techniques d’entretien (Interview Techniques)
Cette composante interroge l’habileté technique et communicative mobilisée pour guider le flux discursif du patient. Elle intègre l’utilisation équilibrée de questions ouvertes invitant à l’exploration narrative spontanée et de questions fermées pour préciser la temporalité ou la sévérité des symptômes. L’écoute active, les relances appropriées, les reflets émotionnels, la gestion des silences tolérés et l’évitement du jargon médical complexe constituent les marqueurs essentiels de cette compétence. L’étudiant doit démontrer une souplesse méthodologique lui permettant d’adapter la structure de l’entretien à l’état psychique de son interlocuteur (par exemple face à un syndrome maniaque ou un mutisme dépressif).
3. Présence et accordage émotionnel avec le patient (Presence/Attunement to Patient)
Inspirée des concepts de résonance affective et d’accordage intersubjectif (Daniel Stern), cette dimension explore l’attention incarnée et la syntonie de l’étudiant à l’égard de l’expérience vécue du patient. Elle se traduit par une posture corporelle ouverte, un contact visuel respectueux, l’identification fine des signaux non verbaux (posture, mimiques, prosodie) et la démonstration d’une empathie authentique non théâtralisée. L’étudiant ne se limite pas à recueillir des données objectives ; il valide la souffrance psychique exprimée et témoigne d’une disponibilité psychologique active face aux affects émergents.
4. Établissement de l’alliance et respect des limites professionnelles (Alliance Building and Boundaries)
Cette dimension mesure la capacité à forger une alliance thérapeutique collaborative tout en maintenant un cadre éthique et professionnel strict. L’alliance repose sur la recherche active d’un consensus autour des difficultés rencontrées et sur l’établissement d’une relation de confiance mutuelle. Conjointement, le respect des limites implique la reconnaissance des phénomènes de transfert et de contre-transfert, la préservation de la neutralité bienveillante, l’évitement de tout dévoilement personnel inopportun ou de familiarité indue, ainsi que la gestion rigoureuse de la distance relationnelle nécessaire à l’investigation clinique en santé mentale.
6. Cadre théorique / Theoretical Framework
Le fondement théorique du DOF s’enracine à la convergence de trois grands paradigmes : l’approche par compétences en éducation médicale, la théorie de l’alliance thérapeutique et le modèle biopsychosocial de la communication clinique.
L’Éducation Médicale Fondée sur les Compétences (CBME) et les Activités Professionnelles Confiables (APC)
Historiquement formalisé par Frank et al. (2010) et conceptualisé dans le domaine des décisions de délégation par ten Cate (2005), le mouvement CBME postule que la formation médicale ne doit pas être mesurée en temps passé en stage mais en acquisition démontrable d’aptitudes cliniques observables. L’Activité Professionnelle Confiable (APC / EPA) incarne une unité de pratique professionnelle autonome qu’un apprenant ne peut se voir déléguer qu’après avoir prouvé sa maîtrise par l’observation directe. Le DOF s’inscrit au cœur de ce modèle en opérationnalisant l’APC spécifique : « Mener une anamnèse et un examen de l’état mental complets et orientés chez un patient présentant des symptômes psychiatriques ».
La théorie de la relation thérapeutique et de l’accordage intersubjectif
Sur le versant psychologique et relationnel, le DOF puise dans les théories d’Edward Bordin (1979) sur l’alliance de travail, caractérisée par une entente mutuelle sur les buts, une adhésion partagée aux tâches et l’établissement d’un lien affectif collaboratif. L’intégration de la dimension « Présence / Accordage » prolonge les travaux de Carl Rogers sur les conditions nécessaires de la relation d’aide (authenticité, considération positive inconditionnelle et compréhension empathique) ainsi que la théorie de l’intersubjectivité issue de la psychologie du développement. L’entretien psychiatrique n’est plus envisagé comme un interrogatoire unilatéral, mais comme une co-construction dialogique où la qualité du climat relationnel conditionne directement la richesse du recueil sémiologique.
Le modèle de Calgary-Cambridge pour la communication médicale
Développé par Kurtz, Silverman et Draper (1998), le cadre de Calgary-Cambridge décompose l’interaction médicale en étapes séquentielles (initialisation de la session, recueil de l’information, structuration, construction de la relation, explication et planification, clôture). Le DOF reprend cette modélisation séquentielle en individualisant l’ouverture/clôture et la structuration technique, confirmant son inscription dans les standards les plus avancés de la didactique de la relation soignant-soigné.
7. Validité / Validity
L’étude princeps menée par Butterfield et ses collaborateurs (2023) à l’école de médecine de l’Université du Colorado a rigoureusement examiné les propriétés de validité du DOF auprès d’une cohorte d’étudiants en troisième année de médecine, selon les standards contemporains de la psychométrie éducative.
Sensibilité au changement / Réactivité (Test Responsiveness)
Un instrument docimologique d’apprentissage doit être capable de détecter la progression longitudinale des étudiants. Le DOF a démontré une réactivité statistiquement hautement significative, matérialisée par une hausse substantielle du score moyen entre la première évaluation formative réalisée en début de stage (Temps 1) et la seconde évaluation réalisée à la fin du stage (Temps 2 ; p < 0,001). Cette élévation empirique témoigne de la sensibilité métrologique de l’outil pour capturer l’effet des apprentissages cliniques au fil des semaines d’immersion.
Validité de critère prédictive (Predictive Validity)
Les scores recueillis au Temps 2 sur le DOF ont présenté une corrélation positive et statistiquement significative avec les notes cliniques globales attribuées aux étudiants à la fin de leur externat (p < 0,001). Afin d’exclure tout artéfact lié à des facteurs exogènes, les auteurs ont conduit des analyses multivariées de régression : l’association entre le score DOF au Temps 2 et la note finale de stage est demeurée hautement significative (p < 0,001) après contrôle strict de la période de l’année universitaire à laquelle le stage a été effectué, du statut hiérarchique de l’évaluateur, de la complexité intrinsèque de la pathologie du patient et de la difficulté perçue de l’entretien clinique.
Par ailleurs, les scores moyens au DOF étaient modulés par la période académique : les étudiants effectuant leur stage plus tôt dans l’année obtenaient des scores moyens plus faibles que ceux évalués en fin d’année (p = 0,01 au Temps 1 ; p = 0,002 au Temps 2), ce qui confirme que l’outil est sensible à la maturation clinique globale de l’étudiant au cours de son cursus médical.
Validité convergente avec l’évaluation globale par APC (EPA)
L’évaluation globale de l’entretien formulée par les superviseurs sous forme d’Activité Professionnelle Confiable (EPA) a révélé une très forte corrélation positive avec le score composite des 4 items du DOF :
- Au Temps 1 : r = 0,76 (p < 0,001)
- Au Temps 2 : r = 0,79 (p < 0,001)
Cette convergence atteste que les dimensions ciblées par le DOF sous-tendent fidèlement le jugement clinique global des superviseurs quant au degré de supervision nécessaire pour autoriser l’étudiant à conduire un entretien de manière autonome.
Validité discriminante / Divergente (Lack of Correlation with Shelf Exam Scores)
L’un des résultats les plus déterminants de l’étude psychométrique réside dans l’absence de corrélation statistiquement significative entre les scores obtenus au DOF et les résultats à l’examen national standardisé sur table en psychiatrie (National Board of Medical Examiners [NBME] Psychiatry Shelf Exam) :
- Au Temps 1 : r = 0,10 (p = 0,24, non significatif)
- Au Temps 2 : r = 0,11 (p = 0,21, non significatif)
Ce résultat confirme l’excellente validité divergente du DOF : l’outil mesure un ensemble distinct d’aptitudes relationnelles, communicationnelles et comportementales in vivo qui ne sont nullement capturées par les examens de connaissances théoriques à choix multiples.
Effet du statut de l’évaluateur (Rater Rank Association)
Les analyses ont mis en évidence une association statistiquement significative entre le score au Temps 1 et le rang de l’évaluateur (p = 0,005) : les internes ont attribué en moyenne des notes plus élevées que les praticiens seniors (enseignants universitaires). Ce constat souligne l’importance d’étalonner les évaluateurs et justifie l’inclusion de variables de contrôle dans les modèles d’évaluation docimologique.
8. Fidélité / Reliability
La fidélité d’une échelle docimologique renvoie à sa précision métrologique et à l’homogénéité de ses composantes. Dans le cadre de l’évaluation du DOF par Butterfield et al. (2023), la fidélité a été principalement examinée sous l’angle de la cohérence interne :
- Cohérence interne (Alpha de Cronbach) : Les analyses ont produit des coefficients alpha de Cronbach compris entre 0,88 et 0,89 selon les temps de mesure. Ces valeurs se situent dans la zone d’excellence psychométrique pour une échelle brève de quatre items. Elles attestent que les quatre dimensions observées convergent étroitement vers l’estimation d’une dimension commune cohérente (l’habileté globale d’entretien psychiatrique) tout en maintenant une faible variance d’erreur de mesure non liée au construit.
- Stabilité et robustesse longitudinale : La constance des coefficients alpha entre le Temps 1 et le Temps 2 démontre que l’instrument conserve sa cohérence structurelle tant chez des apprenants novices (début de stage) que chez des étudiants ayant acquis une pratique clinique consolidée (fin de stage).
- Variance inter-évaluateurs : Bien que les internes aient tendance à coter plus favorablement que les médecins seniors au début du stage (p = 0,005), la corrélation interne des items demeure stable quel que soit le niveau d’expérience de l’observateur.
9. Analyse factorielle / Factor Analysis
Au regard des données rapportées dans la publication originale de référence (Butterfield et al., 2023) :
Aucune donnée d’analyse factorielle exploratoire (AFE) ou confirmatoire (AFC) n’est actuellement disponible ou publiée.
Cette situation s’explique par la nature de l’étude princeps, qui constituait une recherche pilote menée sur une échelle ultra-courte de 4 items, développée de façon pragmatique à partir du consensus d’experts de l’ADMSEP (Association of Directors of Medical Student Education in Psychiatry ; Roman et al., 2016). Dans la pratique psychométrique appliquée aux échelles docimologiques brèves (4 items), l’analyse factorielle confirmatoire requiert des effectifs d’échantillon très élevés pour garantir la stabilité asymptotique des matrices de covariance.
Toutefois, la forte cohérence interne unitaire (alpha de 0,88 à 0,89) et les corrélations quasi-identiques de chacun des items avec la mesure globale d’APC (r = 0,76 à 0,79) fournissent un faisceau d’indices empiriques convergeant vers un modèle unidimensionnel sous-jacent ou un modèle de facteurs de premier ordre fortement corrélés représentant la « performance globale en entretien clinique psychiatrique ». Les recherches ultérieures devront formellement documenter la structure factorielle par AFC et évaluer l’invariance de mesure à travers les différents sites hospitaliers d’affectation.
10. Instrument de mesure / Instrument
- Nom complet de l’outil : Formulaire d’observation directe (Direct Observation Form – DOF)
- Type d’instrument : Grille d’évaluation docimologique par observation directe structurée (Direct Observation Tool)
- Format d’administration : Papier-crayon ou formulaire électronique institutionnel (tablette / smartphone du superviseur)
- Nombre d’items fondamentaux : 4 items évaluatifs cardinaux
- Échelle de réponse des items : Échelle de Likert en 5 points (de 1 à 5, 5 représentant le niveau de maîtrise le plus élevé)
- Modérateurs contextuels (cases à cocher facultatives) :
- Situation particulièrement difficile ou exigeante compte tenu du niveau de formation de l’étudiant (particularly challenging for the learner’s level of training).
- Situation présentant une complexité clinique élevée (high complexity case).
- Évaluation globale complémentaire : Question synthétique obligatoire basée sur le concept d’Activité Professionnelle Confiable (APC / EPA), graduant le niveau d’autonomie et de supervision requise par l’apprenant.
- Population cible : Étudiants en médecine de troisième année (externes en stage de psychiatrie). Applicable par extension aux résidents de première année.
- Évaluateurs qualifiés : Internes seniors en psychiatrie, chefs de clinique, praticiens hospitaliers et enseignants universitaires encadrants.
- Temps moyen de passation : Observation continue de l’entretien (30 à 45 minutes) suivie du remplissage du formulaire et du débriefing immédiat (5 à 10 minutes).
- Langue originale : Anglais américain.
11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year
- Année de développement et de publication princeps : 2023
- Droits d’auteur et propriété intellectuelle : Détenus par les auteurs (Austin Butterfield, Ashley Curry, Joel Yager, Joseph Sakai) et Springer Nature / Academic Psychiatry.
- Usage commercial : Non autorisé. L’instrument est destiné exclusivement à des applications pédagogiques, institutionnelles et de recherche académique.
- Frais d’utilisation (Fees) : Gratuit pour une utilisation éducative non commerciale au sein des facultés de médecine et centres hospitaliers universitaires.
- Modalités d’obtention et autorisations : Les établissements universitaires souhaitant implémenter le DOF dans leur cursus ou mener des études psychométriques complémentaires doivent contacter directement l’auteur correspondant : Dr. Austin Butterfield ([email protected]).
12. Références / References
Les sources académiques fondant la conception et la validation du Formulaire d’observation directe comprennent :
- Bordin, E. S. (1979). The generalizability of the psychoanalytic concept of the working alliance. Psychotherapy: Theory, Research & Practice, 16(3), 252–260. https://doi.org/10.1037/h0085885
- Butterfield, A., Curry, A., Yager, J., & Sakai, J. (2023). A direct observation form for evaluation of the psychiatric interview: Pilot testing during the psychiatry clerkship. Academic Psychiatry, 47(4), 368–373. https://doi.org/10.1007/s40596-023-01762-0
- Frank, J. R., Snell, L. S., Cate, O. T., Holmboe, E. S., Carraccio, C., Swing, S. R., Harris, P., Glasgow, N. J., Campbell, C., Dath, D., Harden, R. M., Iobst, W., Long, D. M., Mungroo, R., Richardson, D. L., Sherbino, J., Silver, I., Taber, S., Talbot, M., & Harris, K. A. (2010). Competency-based medical education: theory to practice. Medical Teacher, 32(8), 638–645. https://doi.org/10.3109/0142159X.2010.501190
- Kurtz, S., Silverman, J., & Draper, J. (1998). Teaching and Learning Communication Skills in Medicine. Radcliffe Medical Press.
- Roman, B., Goldenberg, M., Grapentine, B., & Roberts, L. W. (2016). The ADMSEP clerkship curriculum: update and resource guide. Academic Psychiatry, 40(3), 405–408. https://doi.org/10.1007/s40596-016-0536-1
- ten Cate, O. (2005). Entrustability of professional activities and competency-based training. Medical Education, 39(12), 1176–1177. https://doi.org/10.1111/j.1365-2929.2005.02341.x