Dans le domaine des sciences comportementales, de la psychiatrie clinique et de la psychom\u00e9trie appliqu\u00e9e, la reproductibilit\u00e9 des mesures constitue la pierre angulaire de toute d\u00e9marche scientifique rigoureuse. Qu’il s’agisse de valider une nouvelle \u00e9chelle de diagnostic psychiatrique, d’\u00e9valuer la concordance entre cliniciens lors du codage d’entretiens semi-structur\u00e9s, ou de calibrer des outils d’observation d\u00e9veloppementale, la simple intuition clinique ne saurait se substituer \u00e0 une quantification probabiliste de la fid\u00e9lit\u00e9. La variabilit\u00e9 introduite par la subjectivit\u00e9 des \u00e9valuateurs repr\u00e9sente une source majeure d’erreur de mesure, susceptible de diluer la puissance statistique des \u00e9tudes, d’introduire des biais d’att\u00e9nuation dans l’estimation des tailles d’effet et de compromettre la validit\u00e9 des d\u00e9cisions th\u00e9rapeutiques.<\/p>\n
Pour mesurer cette fid\u00e9lit\u00e9 avec pr\u00e9cision, le coefficient de corr\u00e9lation intraclasse<\/a> (CCI ou ICC<\/em> en anglais) s’impose comme l’indice param\u00e9trique le plus robuste et le plus polyvalent. Contrairement aux approches bivari\u00e9es rudimentaires qui se cantonnent \u00e0 \u00e9valuer la covariation lin\u00e9aire entre deux s\u00e9ries de scores, le CCI d\u00e9rive des mod\u00e8les d’analyse de variance \u00e0 effets al\u00e9atoires ou mixtes. Il permet d’isoler math\u00e9matiquement la variance r\u00e9elle propre aux sujets \u00e9valu\u00e9s de la variance parasite attribuable aux \u00e9valuateurs ou aux fluctuations al\u00e9atoires du protocole exp\u00e9rimental.<\/p>\n L’essor de l’\u00e9cosyst\u00e8me open source en science des donn\u00e9es offre aujourd’hui aux psychom\u00e9triciens et aux chercheurs en neurosciences un environnement informatique puissant et reproductible. Le langage Python, historiquement r\u00e9put\u00e9 pour ses biblioth\u00e8ques g\u00e9n\u00e9rales d’apprentissage automatique, s’est enrichi d’outils hautement sp\u00e9cialis\u00e9s tels que Pingouin<\/a> et Statsmodels<\/a>. Ce guide m\u00e9thodologique et technique propose une exploration exhaustive de l’estimation du coefficient de corr\u00e9lation intraclasse sous Python. Il d\u00e9taille pas \u00e0 pas les fondements th\u00e9oriques des \u00e9quations de variance, les arbres d\u00e9cisionnels pr\u00e9sidant au choix du mod\u00e8le appropri\u00e9, la manipulation de structures tabulaires complexes avec Pandas, ainsi que la restitution des r\u00e9sultats conform\u00e9ment aux exigences \u00e9ditoriales les plus strictes de l’American Psychological Association (APA).<\/p>\n La fid\u00e9lit\u00e9 inter-juges quantifie le degr\u00e9 auquel deux ou plusieurs observateurs ind\u00e9pendants attribuent des scores identiques ou coh\u00e9rents \u00e0 un m\u00eame ensemble de cibles comportementales, cognitives ou physiologiques. Dans la pratique psychologique, cette notion rev\u00eat une importance capitale. Lorsqu’un clinicien \u00e9value l’intensit\u00e9 de la symptomatologie d\u00e9pressive \u00e0 l’aide d’une \u00e9chelle telle que la Hamilton Depression Rating Scale (HAM-D), la cotation obtenue ne doit pas d\u00e9pendre de la bienveillance intrins\u00e8que, de la s\u00e9v\u00e9rit\u00e9 ou de la fatigue propre \u00e0 l’examinateur, mais refl\u00e9ter fid\u00e8lement l’\u00e9tat clinique du patient.<\/p>\n Sur le plan conceptuel, il est fondamental d’\u00e9tablir une distinction nette entre l’accord absolu et la coh\u00e9rence relative. La coh\u00e9rence relative stipule que les \u00e9valuateurs maintiennent le m\u00eame rang ordinal parmi les cibles, autorisant un \u00e9cart additif constant entre leurs notations. Par exemple, si le juge A attribue syst\u00e9matiquement un point de plus que le juge B \u00e0 l’ensemble des patients, la coh\u00e9rence relative est parfaite. En revanche, l’accord absolu exige une identit\u00e9 num\u00e9rique stricte des scores attribu\u00e9s. Dans les contextes o\u00f9 des seuils diagnostiques cat\u00e9goriels d\u00e9terminent une inclusion th\u00e9rapeutique ou une hospitalisation, l’accord absolu repr\u00e9sente l’unique crit\u00e8re m\u00e9thodologique admissible, car un biais de cotation unilat\u00e9ral modifie le statut clinique attribu\u00e9 aux individus.<\/p>\n L’utilisation de coefficients bivari\u00e9s traditionnels, tels que la corr\u00e9lation lin\u00e9aire de Pearson ou le coefficient de rang de Spearman, s’av\u00e8re inappropri\u00e9e et trompeuse pour quantifier la fid\u00e9lit\u00e9 inter-juges. Le coefficient de Pearson est insensible aux diff\u00e9rences d’\u00e9chelle et aux d\u00e9calages syst\u00e9matiques entre \u00e9valuateurs. Deux cliniciens dont les scores pr\u00e9senteraient une relation parfaitement lin\u00e9aire (par exemple, Score Juge 2 = Score Juge 1 + 5) obtiendraient un coefficient de corr\u00e9lation de Pearson \u00e9gal \u00e0 1.00, occultant compl\u00e8tement une absence totale d’accord absolu. De surcro\u00eet, ces indices bivari\u00e9s ne peuvent comparer que deux juges \u00e0 la fois, interdisant le traitement simultan\u00e9 de panels d’\u00e9valuateurs multiples sans recourir \u00e0 des moyennes de corr\u00e9lations math\u00e9matiquement contestables.<\/p>\n Le coefficient de corr\u00e9lation intraclasse surmonte ces impasses en conceptualisant le probl\u00e8me d’\u00e9valuation sous l’angle de la d\u00e9composition de la variance. En psychom\u00e9trie clinique, o\u00f9 les grilles d’observation portent sur des ph\u00e9nom\u00e8nes subtils tels que les interactions parent-nourrisson, la s\u00e9v\u00e9rit\u00e9 des troubles du spectre de l’autisme ou le d\u00e9codage d’expressions faciales micro-\u00e9motionnelles, le CCI isole la variance d’int\u00e9r\u00eat partag\u00e9e par les sujets de la variance r\u00e9siduelle g\u00e9n\u00e9r\u00e9e par les erreurs de mesure. Il fournit un indice standardis\u00e9 dont l’interpr\u00e9tation renvoie directement \u00e0 la proportion de la variance totale qui peut \u00eatre attribu\u00e9e en toute confiance au trait psychologique latent mesur\u00e9.<\/p>\n Le cadre conceptuel du CCI s’enracine dans les postulats formels de la th\u00e9orie classique des tests<\/a> (TCT), formul\u00e9e initialement par Charles Spearman et consolid\u00e9e ult\u00e9rieurement par Gulliksen ainsi que Lord et Novick. Selon l’axiome fondamental de ce mod\u00e8le additif, tout score observ\u00e9 pour un sujet donn\u00e9 lors d’une session de mesure se d\u00e9compose en une combinaison lin\u00e9aire de deux entit\u00e9s inobservables mais th\u00e9oriquement distinctes : le score vrai du sujet et une composante d’erreur al\u00e9atoire de mesure.<\/p>\n Math\u00e9matiquement, pour un sujet i<\/em> \u00e9valu\u00e9 par un juge j<\/em>, la relation s’\u00e9nonce selon l’\u00e9quation fondamentale :<\/p>\n Xij<\/sub> = Ti<\/sub> + Eij<\/sub><\/em><\/p>\n Dans cette formulation, Ti<\/sub><\/em> repr\u00e9sente l’esp\u00e9rance math\u00e9matique du score de l’individu sur une infinit\u00e9 d’administrations ind\u00e9pendantes (le score vrai), tandis que Eij<\/sub><\/em> incarne l’erreur al\u00e9atoire r\u00e9siduelle, suppos\u00e9e d’esp\u00e9rance nulle, de variance constante et ind\u00e9pendante du score vrai ainsi que des erreurs associ\u00e9es aux autres observations. \u00c0 partir de cette distribution de variables al\u00e9atoires, la variance totale des scores observ\u00e9s peut se d\u00e9composer en la somme de la variance des scores vrais et de la variance de l’erreur :<\/p>\n σ2<\/sup>X<\/sub> = σ2<\/sup>T<\/sub> + σ2<\/sup>E<\/sub><\/em><\/p>\n La fid\u00e9lit\u00e9 d’un instrument ou d’un panel de cotateurs est rigoureusement d\u00e9finie comme le ratio de la variance du score vrai sur la variance totale observ\u00e9e. Le coefficient de corr\u00e9lation intraclasse repr\u00e9sente la traduction empirique directe de ce ratio \u00e0 travers l’appareil statistique de l’analyse de variance<\/a> (ANOVA). Les travaux pionniers de Ronald Fisher au d\u00e9but du vingti\u00e8me si\u00e8cle sur les donn\u00e9es agricoles et g\u00e9n\u00e9tiques ont jet\u00e9 les fondations du calcul de corr\u00e9lations au sein de classes homog\u00e8nes d’individus partageant un m\u00eame patrimoine g\u00e9n\u00e9tique ou environnemental.<\/p>\n Au fil des d\u00e9cennies, cette m\u00e9thodologie a \u00e9t\u00e9 transpos\u00e9e aux sciences humaines. L’apport d\u00e9cisif est venu des travaux fondateurs de Joseph Fleiss et Patrick Shrout \u00e0 la fin des ann\u00e9es 1970, qui ont formalis\u00e9 la distinction entre mod\u00e8les al\u00e9atoires et mixtes. Ils ont ainsi offert aux psychologues un outil capable de mod\u00e9liser explicitement l’erreur caus\u00e9e par l’\u00e9chantillonnage des \u00e9valuateurs, adaptant la th\u00e9orie classique des tests aux r\u00e9alit\u00e9s des protocoles exp\u00e9rimentaux contemporains.<\/p>\n Le coefficient de corr\u00e9lation intraclasse se d\u00e9ploie th\u00e9oriquement le long d’un continuum standardis\u00e9 born\u00e9 entre 0 et 1 lorsqu’il est interpr\u00e9t\u00e9 sous le prisme des composantes de la variance. Une valeur de 0 refl\u00e8te une absence totale de fid\u00e9lit\u00e9 de mesure : la totalit\u00e9 de la variabilit\u00e9 constat\u00e9e dans les cotations empiriques d\u00e9coule de l’erreur al\u00e9atoire ou des d\u00e9saccords structurels entre \u00e9valuateurs, rendant les scores observ\u00e9s d\u00e9nu\u00e9s de toute validit\u00e9 informative. Inversement, une valeur de 1.00 t\u00e9moigne d’un accord parfait : l’erreur de mesure est rigoureusement nulle, ce qui indique que l’int\u00e9gralit\u00e9 de la dispersion observ\u00e9e s’explique par les \u00e9carts r\u00e9els existant entre les sujets.<\/p>\n N\u00e9anmoins, sur le plan computationnel, l’estimation ponctuelle du CCI est obtenue non pas \u00e0 partir des param\u00e8tres de population non observables, mais \u00e0 partir des carr\u00e9s moyens issus d’une table d’analyse de variance calcul\u00e9e sur un \u00e9chantillon empirique. Dans cette perspective d’estimation param\u00e9trique, le calcul repose sur des soustractions de carr\u00e9s moyens d’erreur par rapport aux carr\u00e9s moyens inter-sujets. Il en r\u00e9sulte que lorsque la variance observ\u00e9e entre les sujets est inf\u00e9rieure \u00e0 la variance r\u00e9siduelle au sein des sujets, le num\u00e9rateur de l’\u00e9quation devient arithm\u00e9tiquement n\u00e9gatif.<\/p>\n Une valeur n\u00e9gative du CCI n’a aucun sens conceptuel en psychom\u00e9trie puisqu’une variance vraie ne peut pas \u00eatre inf\u00e9rieure \u00e0 z\u00e9ro. Sur le plan statistique et m\u00e9thodologique, l’apparition d’un CCI n\u00e9gatif traduit le plus souvent une violation s\u00e9v\u00e8re des postulats sous-jacents du mod\u00e8le d’\u00e9valuation. Ce ph\u00e9nom\u00e8ne survient fr\u00e9quemment lorsque la taille de l’\u00e9chantillon est excessivement restreinte, induisant une instabilit\u00e9 de l’estimation, ou lorsque le trait psychologique \u00e9valu\u00e9 pr\u00e9sente une homog\u00e9n\u00e9it\u00e9 extr\u00eame au sein de l’\u00e9chantillon clinique, r\u00e9duisant la dispersion inter-sujets \u00e0 un niveau n\u00e9gligeable face au bruit de mesure.<\/p>\n Certains auteurs ont sugg\u00e9r\u00e9 qu’un CCI n\u00e9gatif pouvait \u00e9galement signaler la pr\u00e9sence d’un biais de cotation interactif destructeur, tel qu’un effet de contraste o\u00f9 les juges s’influencent mutuellement de mani\u00e8re polaris\u00e9e. En pratique courante, toute estimation ponctuelle inf\u00e9rieure \u00e0 z\u00e9ro doit \u00eatre tronqu\u00e9e et rapport\u00e9e comme nulle (CCI = 0.00), tout en incitant le chercheur \u00e0 v\u00e9rifier imm\u00e9diatement l’ad\u00e9quation de son plan d’\u00e9chantillonnage et la dispersion de ses donn\u00e9es.<\/p>\n La taxonomie canonique \u00e9tablie par Shrout et Fleiss (1979)<\/a> distingue trois mod\u00e8les fondamentaux en fonction de la structure du plan de mesure et de la nature de l’\u00e9chantillonnage des \u00e9valuateurs. Le premier de ces mod\u00e8les, d\u00e9sign\u00e9 sous le terme de mod\u00e8le \u00e0 effets al\u00e9atoires \u00e0 un facteur (mod\u00e8le 1), correspond \u00e0 une configuration exp\u00e9rimentale sp\u00e9cifique : chaque sujet est \u00e9valu\u00e9 par un groupe distinct d’\u00e9valuateurs, choisis al\u00e9atoirement au sein d’une vaste population de juges potentiels.<\/p>\n Dans ce mod\u00e8le, il est formellement impossible de dissocier la variance propre aux \u00e9valuateurs de la variance d’erreur r\u00e9siduelle, car les juges ne sont pas crois\u00e9s avec les sujets. L’\u00e9quation d\u00e9compose le score Xij<\/sub><\/em> du sujet i<\/em> mesur\u00e9 par le juge j<\/em> selon l’expression :<\/p>\n Xij<\/sub> = μ + si<\/sub> + eij<\/sub><\/em><\/p>\n o\u00f9 μ<\/em> est la moyenne g\u00e9n\u00e9rale, si<\/sub><\/em> est l’effet al\u00e9atoire du sujet avec une variance not\u00e9e σ2<\/sup>s<\/sub><\/em>, et eij<\/sub><\/em> regroupe indiff\u00e9remment l’effet du juge et l’erreur d’observation, pr\u00e9sentant une variance σ2<\/sup>e<\/sub><\/em>.<\/p>\n Ce cadre th\u00e9orique d\u00e9bouche sur deux formulations distinctes selon l’usage op\u00e9rationnel envisag\u00e9 pour le score. Lorsque l’on souhaite estimer la fid\u00e9lit\u00e9 de la notation attribu\u00e9e par un seul \u00e9valuateur tir\u00e9 au hasard, on utilise la formule du CCI(1,1) bas\u00e9e sur le carr\u00e9 moyen inter-sujets (BMS, Between-Subjects Mean Square<\/em>) et le carr\u00e9 moyen intra-sujets (WMS, Within-Subjects Mean Square<\/em>), o\u00f9 k<\/em> repr\u00e9sente le nombre d’\u00e9valuations par sujet :<\/p>\n CCI(1,1) = (BMS – WMS) \/ (BMS + (k – 1) * WMS)<\/em><\/p>\n Lorsque le protocole de recherche stipule que le score final retenu pour chaque patient sera la moyenne des notes attribu\u00e9es par les k<\/em> \u00e9valuateurs distincts, la fid\u00e9lit\u00e9 de cette moyenne composite est calcul\u00e9e via le CCI(1,k) :<\/p>\n CCI(1,k) = (BMS – WMS) \/ BMS<\/em><\/p>\n Le mod\u00e8le 1 s’av\u00e8re particuli\u00e8rement pertinent dans les contextes \u00e9pid\u00e9miologiques \u00e0 grande \u00e9chelle ou dans les institutions de soins o\u00f9 chaque patient est \u00e9valu\u00e9 par l’infirmier ou le psychiatre de garde. Les contraintes logistiques emp\u00eachent alors d’assigner les m\u00eames professionnels \u00e0 l’ensemble de la cohorte clinique, produisant des plans d’\u00e9chantillonnage d\u00e9s\u00e9quilibr\u00e9s et hautement fragment\u00e9s.<\/p>\n Le mod\u00e8le \u00e0 effets al\u00e9atoires \u00e0 deux facteurs (mod\u00e8le 2) repr\u00e9sente le dispositif de r\u00e9f\u00e9rence le plus largement employ\u00e9 en recherche translationnelle et en psychom\u00e9trie clinique. Dans ce sch\u00e9ma exp\u00e9rimental, l’ensemble des cibles ou patients est \u00e9valu\u00e9 par le m\u00eame panel de k<\/em> juges. Ces juges sont eux-m\u00eames consid\u00e9r\u00e9s comme un \u00e9chantillon al\u00e9atoire repr\u00e9sentatif issu d’une population parente plus vaste d’\u00e9valuateurs qualifi\u00e9s (par exemple, cinq neuropsychologues tir\u00e9s au sort parmi tous les praticiens d’un r\u00e9seau hospitalier).<\/p>\n Gr\u00e2ce \u00e0 ce croisement complet entre sujets et \u00e9valuateurs, il devient possible d’extraire la variance li\u00e9e aux juges. Le score s’exprime selon le mod\u00e8le lin\u00e9aire :<\/p>\n Xij<\/sub> = μ + si<\/sub> + jj<\/sub> + (sj)ij<\/sub> + eij<\/sub><\/em><\/p>\n o\u00f9 jj<\/sub><\/em> repr\u00e9sente l’effet al\u00e9atoire du juge avec une variance σ2<\/sup>j<\/sub><\/em>, et les termes d’interaction sujet-juge sont g\u00e9n\u00e9ralement confondus avec l’erreur r\u00e9siduelle dans un carr\u00e9 moyen d’erreur r\u00e9siduelle not\u00e9 EMS (Error Mean Square<\/em>). Le carr\u00e9 moyen attribuable \u00e0 la variabilit\u00e9 entre les juges est not\u00e9 JMS (Judges Mean Square<\/em>).<\/p>\n Le mod\u00e8le 2 \u00e9value rigoureusement l’accord absolu, car toute diff\u00e9rence syst\u00e9matique d’\u00e9valuation entre les juges vient p\u00e9naliser le coefficient en augmentant le d\u00e9nominateur de l’\u00e9quation. Pour une mesure unique (CCI 2,1), la formulation s’\u00e9tablit comme suit :<\/p>\n CCI(2,1) = (BMS – EMS) \/ (BMS + (k – 1) * EMS + (k \/ n) * (JMS – EMS))<\/em><\/p>\n o\u00f9 n<\/em> repr\u00e9sente le nombre total de sujets \u00e9valu\u00e9s. Si la d\u00e9cision clinique finale repose sur la moyenne des scores des k<\/em> \u00e9valuateurs, le coefficient CCI(2,k) est formul\u00e9 par :<\/p>\n CCI(2,k) = (BMS – EMS) \/ (BMS + (JMS – EMS) \/ n)<\/em><\/p>\n L’avantage \u00e9pist\u00e9mologique du mod\u00e8le 2 r\u00e9side dans sa grande g\u00e9n\u00e9ralisabilit\u00e9 : les indices de fid\u00e9lit\u00e9 ainsi calcul\u00e9s ne s’appliquent pas uniquement aux cliniciens ayant particip\u00e9 \u00e0 l’exp\u00e9rimentation, mais peuvent \u00eatre \u00e9tendus \u00e0 n’importe quel panel d’\u00e9valuateurs de m\u00eame qualification appliquant le m\u00eame protocole d’\u00e9valuation psychom\u00e9trique standardis\u00e9.<\/p>\n Le troisi\u00e8me mod\u00e8le th\u00e9oris\u00e9 par Shrout et Fleiss est le mod\u00e8le \u00e0 effets mixtes \u00e0 deux facteurs (mod\u00e8le 3). Il s’applique lorsque les k<\/em> \u00e9valuateurs mobilis\u00e9s pour l’\u00e9tude repr\u00e9sentent les seuls juges d’int\u00e9r\u00eat et ne sont en aucun cas consid\u00e9r\u00e9s comme un \u00e9chantillon al\u00e9atoire extrait d’une population plus large. Les sujets constituent toujours un facteur \u00e0 effets al\u00e9atoires, mais les juges sont mod\u00e9lis\u00e9s comme un facteur \u00e0 effets fixes. Ce mod\u00e8le correspond \u00e0 des situations o\u00f9, par exemple, les trois cr\u00e9ateurs d’une nouvelle grille diagnostique proc\u00e8dent eux-m\u00eames \u00e0 l’int\u00e9gralit\u00e9 des codages exp\u00e9rimentaux.<\/p>\n \u00c9tant donn\u00e9 que les juges sont fixes, la variance inter-juges n’est plus consid\u00e9r\u00e9e comme une source d’erreur d’\u00e9chantillonnage al\u00e9atoire pour une population d’\u00e9valuateurs externes. Le mod\u00e8le 3 s’int\u00e9resse donc prioritairement \u00e0 la coh\u00e9rence relative des cotations (bien qu’il puisse techniquement \u00eatre d\u00e9clin\u00e9 en accord absolu selon les d\u00e9veloppements ult\u00e9rieurs de McGraw et Wong). Dans l’optique de la coh\u00e9rence relative, la variance syst\u00e9matique attribuable aux juges (JMS) est enti\u00e8rement neutralis\u00e9e et soustraite du calcul de la fid\u00e9lit\u00e9.<\/p>\n L’estimation ponctuelle pour un \u00e9valuateur unique dans le cadre du mod\u00e8le 3 s’exprime selon une relation simplifi\u00e9e :<\/p>\n CCI(3,1) = (BMS – EMS) \/ (BMS + (k – 1) * EMS)<\/em><\/p>\n Pour la moyenne stabilis\u00e9e des k<\/em> juges fixes, l’\u00e9quation prend la forme classique \u00e9quivalente \u00e0 l’alpha de Cronbach<\/a> :<\/p>\n CCI(3,k) = (BMS – EMS) \/ BMS<\/em><\/p>\n La publication fondamentale de McGraw et Wong (1996)<\/a> a clarifi\u00e9 et \u00e9tendu la nomenclature de Shrout et Fleiss en formalisant la distinction explicite entre les objectifs de \u00ab Coh\u00e9rence \u00bb (Consistency<\/em>) et d’\u00ab Accord absolu \u00bb (Absolute Agreement<\/em>) pour l’ensemble des mod\u00e8les \u00e0 deux facteurs. Les chercheurs doivent donc choisir avec pr\u00e9caution entre ces deux variantes en fonction des objectifs cliniques poursuivis.<\/p>\n L’impl\u00e9mentation robuste de l’analyse psychom\u00e9trique en Python repose sur un \u00e9cosyst\u00e8me de calcul num\u00e9rique coh\u00e9rent et rigoureusement versionn\u00e9. Le calcul du coefficient de corr\u00e9lation intraclasse n\u00e9cessite l’interaction harmonieuse de biblioth\u00e8ques d\u00e9di\u00e9es \u00e0 la manipulation de matrices et aux analyses statistiques inf\u00e9rentielles avanc\u00e9es. Pour garantir la reproductibilit\u00e9 des r\u00e9sultats d’une \u00e9tude clinique, il est imp\u00e9ratif d’isoler l’environnement d’ex\u00e9cution \u00e0 l’aide d’un gestionnaire d’environnements virtuels tel que Conda ou l’utilitaire standard venv.<\/p>\n La mise en place de cet environnement commence par l’installation du paquet statistique central Pingouin<\/a>, con\u00e7u sp\u00e9cifiquement pour les sciences comportementales et biom\u00e9dicales. Cette biblioth\u00e8que encapsule les algorithmes de d\u00e9composition de variance et offre une interface intuitive pour l’analyse statistique. L’installation s’effectue simplement via le gestionnaire de paquets officiel :<\/p>\n Il est indispensable de v\u00e9rifier la compatibilit\u00e9 des versions install\u00e9es, notamment entre NumPy, SciPy et Pandas. Les \u00e9volutions rapides des structures internes de Pandas (notamment depuis le passage \u00e0 la version 2.0 et la refonte de la gestion des types de donn\u00e9es sous Apache Arrow) peuvent parfois induire des comportements inattendus lors de manipulations matricielles complexes. L’inspection des versions dans une session interactive garantit l’int\u00e9grit\u00e9 de la cha\u00eene de traitement :<\/p>\n Historiquement, les praticiens de la recherche psychologique et psychiatrique se trouvaient contraints de recourir \u00e0 des logiciels propri\u00e9taires on\u00e9reux et ferm\u00e9s tels que SPSS ou SAS, ou devaient ma\u00eetriser le langage R pour exploiter des paquets sp\u00e9cialis\u00e9s comme Con\u00e7ue par Rapha\u00ebl Vallat pour combler ce manque structurel, la biblioth\u00e8que Pingouin offre une syntaxe fluide inspir\u00e9e de la philosophie de conception de R, tout en s’int\u00e9grant parfaitement dans l’\u00e9cosyst\u00e8me Python orient\u00e9 objet. Pingouin se distingue par le fait que ses fonctions statistiques acceptent directement des DataFrames Pandas comme arguments d’entr\u00e9e et renvoient syst\u00e9matiquement des DataFrames Pandas exhaustifs en sortie, facilitant ainsi l’encha\u00eenement des \u00e9tapes de traitement de donn\u00e9es (pipelines<\/em>).<\/p>\n En ce qui concerne le calcul du CCI, Pingouin impl\u00e9mente une fonction d’analyse de variance \u00e0 deux facteurs hautement optimis\u00e9e. Elle calcule simultan\u00e9ment l’ensemble des six variantes algorithmiques d\u00e9finies par Shrout et Fleiss en un unique passage computationnel. Cette approche \u00e9vite d’avoir \u00e0 ajuster manuellement des mod\u00e8les lin\u00e9aires fastidieux et \u00e9limine les risques d’erreurs de syntaxe dans l’extraction des sommes de carr\u00e9s et des carr\u00e9s moyens r\u00e9siduels.<\/p>\n L’\u00e9tape pr\u00e9alable au calcul automatis\u00e9 du CCI sous Python r\u00e9side dans la mod\u00e9lisation et l’organisation tabulaire des observations psychom\u00e9triques. Dans les bases de donn\u00e9es cliniques traditionnelles, les informations sont majoritairement consign\u00e9es sous un \u00ab format large \u00bb (wide format<\/em>). Dans cette disposition, chaque ligne correspond \u00e0 un patient unique identifi\u00e9, et chaque colonne contient les notes attribu\u00e9es par un clinicien particulier ou issues d’une s\u00e9ance sp\u00e9cifique (par exemple, les colonnes Or, la fonction La conversion d’une matrice large vers cette disposition longitudinale s’effectue sans difficult\u00e9 gr\u00e2ce \u00e0 la m\u00e9thode Afin d’illustrer la d\u00e9marche sur un plan exp\u00e9rimental repr\u00e9sentatif des \u00e9tudes de validation psychom\u00e9trique, nous allons g\u00e9n\u00e9rer un jeu de donn\u00e9es simul\u00e9 r\u00e9aliste. Imaginons un protocole d’\u00e9valuation clinique standardis\u00e9 dans lequel 30 patients adultes souffrant de troubles anxieux sont \u00e9valu\u00e9s de fa\u00e7on ind\u00e9pendante par 4 psychiatres chevronn\u00e9s \u00e0 partir d’entretiens vid\u00e9o enregistr\u00e9s. L’\u00e9chelle de cotation s’\u00e9tend de 0 \u00e0 50 points.<\/p>\n Pour construire ce jeu de donn\u00e9es, nous allons mod\u00e9liser explicitement une composante de score vrai pour chaque patient, un biais syst\u00e9matique pour chaque \u00e9valuateur (par exemple, un juge structurellement plus s\u00e9v\u00e8re qu’un autre), ainsi qu’une erreur al\u00e9atoire de mesure \u00e0 distribution normale gaussienne :<\/p>\n L’estimation rigoureuse d’un indice de fid\u00e9lit\u00e9 param\u00e9trique n\u00e9cessite de v\u00e9rifier la coh\u00e9rence interne du jeu de donn\u00e9es avant toute analyse. Dans les protocoles de recherche clinique multicentriques, les bases de donn\u00e9es sont fr\u00e9quemment alt\u00e9r\u00e9es par des erreurs mat\u00e9rielles de saisie, des valeurs hors limites, des doublons d’enregistrement ou des d\u00e9s\u00e9quilibres impr\u00e9vus dans le croisement des facteurs d’int\u00e9r\u00eat.<\/p>\n La premi\u00e8re v\u00e9rification consiste \u00e0 s’assurer que les valeurs observ\u00e9es respectent scrupuleusement les bornes th\u00e9oriques de l’instrument d’\u00e9valuation psychologique. L’ex\u00e9cution d’assertions logiques et d’analyses descriptives univari\u00e9es via Pandas permet de rep\u00e9rer imm\u00e9diatement toute valeur aberrante :<\/p>\n Le second contr\u00f4le porte sur l’\u00e9quilibrage complet du plan exp\u00e9rimental. Les mod\u00e8les de calcul standard du CCI reposent sur une analyse de variance \u00e0 deux facteurs sans cellule vide. Il convient donc de s’assurer, \u00e0 l’aide d’une table de contingence crois\u00e9e ( La fonction Par d\u00e9faut, l’appel de la fonction d\u00e9clenche l’estimation simultan\u00e9e des six d\u00e9clinaisons du coefficient de corr\u00e9lation intraclasse \u00e9tablies par la classification de Shrout et Fleiss (1979). Cela permet au statisticien d’examiner et de confronter en parall\u00e8le les diff\u00e9rentes hypoth\u00e8ses op\u00e9rationnelles relatives au mode d’agr\u00e9gation des scores et \u00e0 la nature des juges.<\/p>\n L’ex\u00e9cution de la proc\u00e9dure statistique s’av\u00e8re concise et \u00e9l\u00e9gante, ne n\u00e9cessitant que quelques lignes de code Python bien structur\u00e9es :<\/p>\n L’ex\u00e9cution de cette commande g\u00e9n\u00e8re instantan\u00e9ment un tableau d’analyse d\u00e9taill\u00e9 sous forme de DataFrame, structurant les m\u00e9triques cl\u00e9s de l’inf\u00e9rence statistique : estimations ponctuelles, intervalles de confiance param\u00e9triques, degr\u00e9s de libert\u00e9 du mod\u00e8le, statistiques de test F et probabilit\u00e9s associ\u00e9es.<\/p>\n Dans le cadre d’\u00e9tudes cliniques multicentriques \u00e9valuant simultan\u00e9ment de multiples sous-\u00e9chelles d’un inventaire psychologique, il est souvent utile d’encapsuler le calcul du CCI au sein d’une fonction r\u00e9utilisable. Cette fonction peut alors automatiser le filtrage, l’analyse et l’exportation des r\u00e9sultats vers diff\u00e9rents formats scientifiques exploitables (tels que LaTeX, CSV ou Excel) :<\/p>\n L’interpr\u00e9tation clinique des r\u00e9sultats calcul\u00e9s par Pingouin exige une compr\u00e9hension fine de la structure de sa table de sortie. Cette table synth\u00e9tise l’ensemble des concepts de la th\u00e9orie de la fid\u00e9lit\u00e9. Le tableau renvoy\u00e9 par la fonction L’estimation ponctuelle renseigne directement sur la proportion de variance attribuable au score vrai sous les hypoth\u00e8ses du mod\u00e8le consid\u00e9r\u00e9. L’examen attentif des estimations obtenues met en lumi\u00e8re les diff\u00e9rences th\u00e9oriques fondamentales qui existent entre ces indices. Typiquement, la valeur num\u00e9rique de l’ En psychom\u00e9trie moderne, l’\u00e9valuation de la fid\u00e9lit\u00e9 ne saurait en aucun cas se limiter \u00e0 la simple lecture de l’estimation ponctuelle du CCI. Les directives m\u00e9thodologiques stipulent qu’une interpr\u00e9tation rigoureuse doit syst\u00e9matiquement s’appuyer sur l’intervalle de confiance \u00e0 95 % (IC 95 %), et plus sp\u00e9cifiquement sur sa borne inf\u00e9rieure.<\/p>\n L’estimation de l’intervalle de confiance s’appuie sur la distribution th\u00e9orique de la statistique F<\/em> de Fisher. Pour les mod\u00e8les \u00e0 effets al\u00e9atoires \u00e0 deux facteurs, les \u00e9quations analytiques d\u00e9velopp\u00e9es par Shrout et Fleiss, compl\u00e9t\u00e9es par McGraw et Wong, exploitent des approximations exactes lorsque les composantes de la variance sont non nulles. La formule g\u00e9n\u00e9rale de calcul de la borne inf\u00e9rieure (L<\/em>) et de la borne sup\u00e9rieure (U<\/em>) pour le CCI(2,1) fait intervenir les percentiles de la distribution F<\/em> :<\/p>\n Fobs<\/sub> \/ Fcritique_haut<\/sub> ≤ F ≤ Fobs<\/sub> * Fcritique_bas<\/sub><\/em><\/p>\n L’amplitude de cet intervalle est directement d\u00e9termin\u00e9e par la taille de l’\u00e9chantillon des sujets \u00e9valu\u00e9s (n<\/em>) et, dans une moindre mesure, par le nombre d’\u00e9valuateurs (k<\/em>). Un \u00e9chantillon modeste (par exemple, 10 \u00e0 15 patients) peut produire une estimation ponctuelle tr\u00e8s flatteuse (ex. : CCI = 0.85), mais assortie d’un intervalle de confiance excessivement large (ex. : IC 95 % [0.42, 0.96]). Dans un tel sc\u00e9nario, l’estimation r\u00e9elle de la fid\u00e9lit\u00e9 demeure hautement incertaine et peut tout aussi bien \u00eatre jug\u00e9e m\u00e9diocre qu’excellente. Cette impr\u00e9cision interdit toute conclusion d\u00e9finitive sur la fid\u00e9lit\u00e9 clinique du protocole d’\u00e9valuation.<\/p>\n Chaque ligne de la table g\u00e9n\u00e9r\u00e9e par Pingouin est associ\u00e9e \u00e0 un test formel d’hypoth\u00e8se statistique nulle. L’hypoth\u00e8se nulle s’\u00e9nonce : H0<\/sub> : CCI = 0<\/em>, ce qui \u00e9quivaut \u00e0 postuler que la variance du score vrai des sujets est rigoureusement nulle et que les scores observ\u00e9s r\u00e9sultent exclusivement d’un bruit de mesure al\u00e9atoire et d’un d\u00e9saccord complet entre les juges.<\/p>\n Pour tester cette hypoth\u00e8se, le ratio de variance calcul\u00e9 suit une loi de Fisher-Snedecor param\u00e9tr\u00e9e par les degr\u00e9s de libert\u00e9 df1<\/em> et df2<\/em>. Dans le mod\u00e8le \u00e0 deux facteurs, le nombre de degr\u00e9s de libert\u00e9 au num\u00e9rateur est invariablement \u00e9gal \u00e0 df1 = n – 1<\/em>. Le calcul des degr\u00e9s de libert\u00e9 du d\u00e9nominateur (df2<\/em>) d\u00e9pend en revanche du mod\u00e8le th\u00e9orique retenu :<\/p>\n Il importe de formuler une mise en garde m\u00e9thodologique essentielle : l’obtention d’une probabilit\u00e9 hautement significative (par exemple, p < 0.001<\/em>) n’implique absolument pas que l’instrument d’\u00e9valuation dispose d’une bonne fid\u00e9lit\u00e9 inter-juges. Dans les cohortes de grande taille (ex. : n > 200<\/em>), un CCI modeste de 0.35 sera presque syst\u00e9matiquement significatif sur le plan statistique en raison de la tr\u00e8s forte puissance du test, rejetant formellement l’hypoth\u00e8se d’une fid\u00e9lit\u00e9 strictement \u00e9gale \u00e0 z\u00e9ro. Pour autant, un tel niveau de concordance demeure cliniquement insuffisant pour une utilisation pratique. La prise de d\u00e9cision diagnostique doit donc reposer sur l’amplitude clinique de l’estimation et de son intervalle de confiance, et non sur la simple significativit\u00e9 de la p-valeur.<\/p>\n Le choix d’un coefficient de corr\u00e9lation intraclasse appropri\u00e9 d\u00e9pend directement de la structure du plan de mesure et de la fa\u00e7on dont les \u00e9valuateurs ont \u00e9t\u00e9 recrut\u00e9s. Ce choix n’est donc pas d’ordre purement math\u00e9matique, mais rel\u00e8ve d’une r\u00e9flexion m\u00e9thodologique approfondie sur les conditions de recueil des donn\u00e9es.<\/p>\n Le premier point d’arbitrage concerne le mode de s\u00e9lection et d’affectation des juges au protocole exp\u00e9rimental :<\/p>\n Un cas particulier de plus en plus fr\u00e9quent en psychologie computationnelle concerne l’\u00e9valuation automatis\u00e9e de marqueurs comportementaux par des algorithmes d’apprentissage profond ou de traitement du langage naturel. Lorsqu’un algorithme de vision par ordinateur est compar\u00e9 \u00e0 un panel d’experts humains, cet algorithme doit obligatoirement \u00eatre mod\u00e9lis\u00e9 comme un facteur \u00e0 effets fixes. L’objectif est alors d’\u00e9valuer la fid\u00e9lit\u00e9 de cet outil sp\u00e9cifique, sans chercher \u00e0 g\u00e9n\u00e9raliser les conclusions \u00e0 une population hypoth\u00e9tique d’algorithmes al\u00e9atoires.<\/p>\n La deuxi\u00e8me d\u00e9cision m\u00e9thodologique fondamentale r\u00e9side dans l’arbitrage entre l’usage d’une mesure unique (single rater<\/em> : indices not\u00e9s ICC1, ICC2, ICC3) ou de la moyenne de plusieurs mesures (average raters<\/em> : indices not\u00e9s ICC1k, ICC2k, ICC3k). Ce choix doit refl\u00e9ter scrupuleusement la mani\u00e8re dont l’outil psychom\u00e9trique sera d\u00e9ploy\u00e9 dans la pratique clinique quotidienne.<\/p>\n Si, dans le cadre de son activit\u00e9 courante, le psychologue clinicien pose un diagnostic \u00e0 partir de la cotation r\u00e9alis\u00e9e par un seul professionnel lors de la consultation, le chercheur doit obligatoirement \u00e9valuer et rapporter le coefficient pour mesure unique (ICC2 ou ICC3). Choisir \u00e0 tort le coefficient pour mesures moyenn\u00e9es gonflerait artificiellement la fid\u00e9lit\u00e9 apparente de la proc\u00e9dure, masquant la variabilit\u00e9 inh\u00e9rente aux \u00e9valuations individuelles.<\/p>\n \u00c0 l’inverse, si le protocole diagnostique officiel impose qu’un patient soit examin\u00e9 par un comit\u00e9 de trois praticiens ind\u00e9pendants et que la d\u00e9cision finale repose sur la moyenne de leurs scores respectifs, le coefficient pour moyenne (ICC2k ou ICC3k) constitue alors l’estimateur l\u00e9gitime. Sur le plan math\u00e9matique, l’accroissement syst\u00e9matique de la fid\u00e9lit\u00e9 observ\u00e9 lors du passage d’une mesure individuelle \u00e0 la moyenne de k<\/em> mesures r\u00e9pond directement aux pr\u00e9dictions de la formule de proph\u00e9tie de Spearman-Brown<\/a>. Cette relation formelle montre que l’agr\u00e9gation de plusieurs \u00e9valuations ind\u00e9pendantes r\u00e9duit la variance de l’erreur al\u00e9atoire proportionnellement au nombre d’\u00e9valuateurs mobilis\u00e9s.<\/p>\n Le troisi\u00e8me crit\u00e8re de s\u00e9lection oppose l’accord absolu \u00e0 la coh\u00e9rence relative au sein des mod\u00e8les \u00e0 deux facteurs (mod\u00e8les 2 et 3). Cette distinction d\u00e9pend de la tol\u00e9rance du protocole exp\u00e9rimental face aux d\u00e9calages syst\u00e9matiques de cotation entre les \u00e9valuateurs.<\/p>\n La coh\u00e9rence relative (consistency<\/em>) neutralise les diff\u00e9rences syst\u00e9matiques de niveau de cotation d’un juge \u00e0 l’autre. Elle v\u00e9rifie uniquement si les \u00e9valuateurs classent les sujets dans le m\u00eame ordre de s\u00e9v\u00e9rit\u00e9 relative. Ce param\u00e8tre est particuli\u00e8rement adapt\u00e9 aux \u00e9tudes de recherche fondamentale qui s’int\u00e9ressent aux corr\u00e9lations de rang ou aux covariations entre construits psychologiques sans se focaliser sur le niveau absolu des scores.<\/p>\n \u00c0 l’oppos\u00e9, l’accord absolu (absolute agreement<\/em>) prend en compte et p\u00e9nalise toute divergence syst\u00e9matique entre les \u00e9valuateurs. Si le clinicien A attribue syst\u00e9matiquement des notes sup\u00e9rieures de 5 points \u00e0 celles du clinicien B, l’accord absolu sera fortement d\u00e9grad\u00e9. Cette p\u00e9nalisation est indispensable dans les contextes cliniques o\u00f9 les scores sont compar\u00e9s \u00e0 des seuils diagnostiques stricts (par exemple, un score seuil de 24 sur l’\u00e9chelle de d\u00e9pression). Dans ce type de situation, deux cotations divergentes peuvent modifier directement la prise en charge th\u00e9rapeutique du patient, rendant l’accord absolu incontournable.<\/p>\n Bien que la biblioth\u00e8que Pingouin offre une solution simple et rapide pour les cas standards, il est particuli\u00e8rement formateur pour le statisticien de d\u00e9composer manuellement la variance \u00e0 l’aide de la biblioth\u00e8que Statsmodels<\/a>. Cette approche permet d’observer directement la m\u00e9canique sous-jacente du mod\u00e8le lin\u00e9aire g\u00e9n\u00e9ral et facilite l’adaptation du calcul \u00e0 des devis de recherche plus complexes.<\/p>\n Pour reconstituer le mod\u00e8le \u00e0 deux facteurs crois\u00e9s sans interaction (puisqu’il n’y a qu’une seule observation par combinaison sujet-juge), nous ajustons un mod\u00e8le de r\u00e9gression lin\u00e9aire par les moindres carr\u00e9s ordinaires (OLS). Les cibles et les \u00e9valuateurs y sont d\u00e9clar\u00e9s sous forme de variables cat\u00e9gorielles \u00e0 l’aide de la syntaxe de formule Patsy :<\/p>\n La table d’ANOVA ainsi g\u00e9n\u00e9r\u00e9e fournit les sommes de carr\u00e9s (Sum of Squares<\/em>, SS), les degr\u00e9s de libert\u00e9 (df<\/em>) ainsi que les carr\u00e9s moyens (Mean Squares<\/em>, MS) associ\u00e9s \u00e0 chaque facteur d’int\u00e9r\u00eat.<\/p>\n \u00c0 partir des carr\u00e9s moyens extraits du mod\u00e8le d’analyse de variance, il devient possible de calculer directement les \u00e9quations formelles du CCI \u00e0 l’aide de NumPy<\/a>. Cette d\u00e9marche permet de v\u00e9rifier la parfaite convergence des calculs manuels avec les r\u00e9sultats automatis\u00e9s fournis par Pingouin :<\/p>\n Cette impl\u00e9mentation pas \u00e0 pas met clairement en \u00e9vidence la relation arithm\u00e9tique qui lie les carr\u00e9s moyens de l’analyse de variance aux coefficients de fid\u00e9lit\u00e9. Elle confirme que le CCI n’est rien d’autre qu’un ratio standardis\u00e9 de variances issues du mod\u00e8le lin\u00e9aire g\u00e9n\u00e9ral.<\/p>\n L’utilisation de l’ANOVA classique se heurte \u00e0 des limites m\u00e9thodologiques majeures d\u00e8s lors que le plan d’exp\u00e9rience est incomplet, d\u00e9s\u00e9quilibr\u00e9 ou comporte des donn\u00e9es manquantes. Ces situations sont pourtant monnaie courante dans la pratique clinique r\u00e9elle, o\u00f9 les abandons en cours d’\u00e9tude et l’indisponibilit\u00e9 ponctuelle des \u00e9valuateurs emp\u00eachent fr\u00e9quemment d’obtenir des grilles de cotation compl\u00e8tes.<\/p>\n Dans ces contextes complexes, la mod\u00e9lisation lin\u00e9aire mixte hi\u00e9rarchique (LMM) repr\u00e9sente la solution statistique la plus adapt\u00e9e. En utilisant le module Cette mod\u00e9lisation par \u00e9quations d’estimation mixtes offre une souplesse remarquable. Elle permet d’int\u00e9grer sans difficult\u00e9 des covariables explicatives continues (comme l’\u00e2ge du patient ou l’anciennet\u00e9 du clinicien), d’ajuster le calcul pour tenir compte d’effets de site dans les \u00e9tudes multicentriques, et de mod\u00e9liser des structures d’erreurs h\u00e9t\u00e9rosc\u00e9dastiques ou autor\u00e9gressives.<\/p>\n L’interpr\u00e9tation quantitative de la valeur num\u00e9rique d’un coefficient de corr\u00e9lation intraclasse s’est longtemps appuy\u00e9e sur des r\u00e8gles heuristiques vagues, sources de confusions dans la litt\u00e9rature m\u00e9dicale et psychologique. Pour standardiser ces pratiques, les travaux de r\u00e9f\u00e9rence de Koo et Li (2016)<\/a> ont \u00e9tabli une grille d’interpr\u00e9tation rigoureuse, adopt\u00e9e aujourd’hui par la majorit\u00e9 des comit\u00e9s de lecture acad\u00e9miques :<\/p>\n1. Fondements psychom\u00e9triques du coefficient de corr\u00e9lation intraclasse<\/h2>\n
1.1 D\u00e9finition et pertinence de la fid\u00e9lit\u00e9 inter-juges en psychologie<\/h3>\n
1.2 Origines th\u00e9oriques et cadre de la th\u00e9orie classique des tests<\/h3>\n
1.3 \u00c9ventail des valeurs du CCI et seuils th\u00e9oriques<\/h3>\n
2. Typologie et mod\u00e8les math\u00e9matiques du CCI selon Shrout et Fleiss<\/h2>\n
2.1 Le mod\u00e8le \u00e0 effets al\u00e9atoires \u00e0 un facteur (CCI 1)<\/h3>\n
2.2 Le mod\u00e8le \u00e0 effets al\u00e9atoires \u00e0 deux facteurs (CCI 2)<\/h3>\n
2.3 Le mod\u00e8le \u00e0 effets mixtes \u00e0 deux facteurs (CCI 3)<\/h3>\n
3. Configuration de l’environnement scientifique Python<\/h2>\n
3.1 Installation et gestion des d\u00e9pendances logicielles<\/h3>\n
pip install pingouin pandas numpy scipy statsmodels matplotlib seaborn<\/code><\/pre>\nimport pingouin as pg\nimport pandas as pd\nimport numpy as np\nimport scipy\nimport statsmodels\n\nprint(f\"Pingouin version: {pg.__version__}\")\nprint(f\"Pandas version: {pd.__version__}\")\nprint(f\"NumPy version: {np.__version__}\")\nprint(f\"SciPy version: {scipy.__version__}\")\nprint(f\"Statsmodels version: {statsmodels.__version__}\")<\/code><\/pre>\n3.2 Pr\u00e9sentation de la biblioth\u00e8que Pingouin pour la psychom\u00e9trie<\/h3>\n
psych<\/code> ou irr<\/code>. Bien que la biblioth\u00e8que Scikit-learn<\/a> domine l’apprentissage automatique sous Python, elle se d\u00e9sint\u00e9resse presque totalement des statistiques inf\u00e9rentielles, de la d\u00e9composition factorielle des variances et de la th\u00e9orie classique des tests.<\/p>\n4. Structuration et pr\u00e9traitement des donn\u00e9es psychologiques avec Pandas<\/h2>\n
4.1 Structure tabulaire : format long versus format large<\/h3>\n
Juge_1<\/code>, Juge_2<\/code>, Juge_3<\/code>).<\/p>\npingouin.intraclass_corr<\/code> requiert imp\u00e9rativement des donn\u00e9es organis\u00e9es sous le \u00ab format long \u00bb (long format<\/em> ou tidy data<\/em>). Selon les canons th\u00e9oriques \u00e9nonc\u00e9s par Hadley Wickham, un jeu de donn\u00e9es est consid\u00e9r\u00e9 comme structur\u00e9 lorsque chaque variable constitue une colonne distincte et que chaque observation individuelle correspond \u00e0 une ligne unique. Dans le contexte du CCI, trois colonnes distinctes sont formellement requises :<\/p>\n\n
pandas.melt()<\/code>, comme illustr\u00e9 dans l’extrait ci-dessous :<\/p>\nimport pandas as pd\n\n# Matrice initiale au format large\ndf_large = pd.DataFrame({\n 'Patient_ID': [f'P{i:03d}' for i in range(1, 6)],\n 'Dr_Martin': [14.5, 18.0, 12.0, 22.5, 16.0],\n 'Dr_Dubois': [15.0, 17.5, 13.0, 21.0, 16.5],\n 'Dr_Lefebvre': [13.5, 19.0, 11.5, 23.0, 15.5]\n})\n\n# Transformation vers le format long (tidy)\ndf_long = pd.melt(\n df_large,\n id_vars=['Patient_ID'],\n value_vars=['Dr_Martin', 'Dr_Dubois', 'Dr_Lefebvre'],\n var_name='Evaluateur',\n value_name='Score_Symptome'\n)\n\nprint(df_long.head())<\/code><\/pre>\n4.2 Construction d’un jeu de donn\u00e9es d’\u00e9valuation psychologique simul\u00e9<\/h3>\n
import numpy as np\nimport pandas as pd\n\n# Fixation de la graine pseudo-al\u00e9atoire pour la reproductibilit\u00e9\nnp.random.seed(42)\n\nn_patients = 30\nn_juges = 4\njuges_noms = [f'Clinicien_{chr(65 + i)}' for i in range(n_juges)]\npatients_ids = [f'Sujet_{i:02d}' for i in range(1, n_patients + 1)]\n\n# 1. G\u00e9n\u00e9ration des scores vrais latents des patients\n# Distribution normale : moyenne = 28, \u00e9cart-type = 7.5\nscores_vrais = np.random.normal(loc=28.0, scale=7.5, size=n_patients)\n\n# 2. Biais syst\u00e9matiques des cliniciens (effets juges)\n# A = neutre, B = cl\u00e9ment (+2.5), C = s\u00e9v\u00e8re (-3.0), D = l\u00e9g\u00e8rement cl\u00e9ment (+1.0)\nbiais_juges = [0.0, 2.5, -3.0, 1.0]\n\n# 3. Construction des observations avec erreur al\u00e9atoire\ndonnees_longues = []\n\nfor idx_pat, pat_id in enumerate(patients_ids):\n score_vrai_patient = scores_vrais[idx_pat]\n for idx_juge, juge_id in enumerate(juges_noms):\n erreur_mesure = np.random.normal(loc=0.0, scale=2.0)\n score_observe = score_vrai_patient + biais_juges[idx_juge] + erreur_mesure\n \n # Tronquage aux bornes r\u00e9alistes de l'\u00e9chelle th\u00e9orique [0, 50]\n score_final = np.clip(score_observe, 0.0, 50.0)\n \n donnees_longues.append({\n 'Target': pat_id,\n 'Rater': juge_id,\n 'Rating': np.round(score_final, 1)\n })\n\ndf_psychometrie = pd.DataFrame(donnees_longues)\nprint(df_psychometrie.info())\nprint(df_psychometrie.head(10))<\/code><\/pre>\n4.3 Nettoyage et d\u00e9tection des anomalies de saisie<\/h3>\n
# V\u00e9rification de l'int\u00e9grit\u00e9 des bornes de cotation\nscore_min = df_psychometrie['Rating'].min()\nscore_max = df_psychometrie['Rating'].max()\n\nassert score_min >= 0.0, f\"Erreur critique : Score n\u00e9gatif d\u00e9tect\u00e9 ({score_min})\"\nassert score_max <= 50.0, f\"Erreur critique : D\u00e9passement de la borne sup\u00e9rieure ({score_max})\"\n\n# Contr\u00f4le des doublons structurels juge-patient\ndoublons = df_psychometrie.duplicated(subset=['Target', 'Rater'], keep=False)\nif doublons.any():\n raise ValueError(f\"Doublons identifi\u00e9s :n{df_psychometrie[doublons]}\")\nelse:\n print(\"Contr\u00f4le structurel : Aucun doublon d\u00e9tect\u00e9. Chaque cellule est unique.\")<\/code><\/pre>\ncrosstab<\/code>), que chaque juge a cot\u00e9 l’int\u00e9gralit\u00e9 des cibles sans omission :<\/p>\nmatrice_contingence = pd.crosstab(df_psychometrie['Target'], df_psychometrie['Rater'])\nverification_completude = (matrice_contingence == 1).all().all()\n\nif not verification_completude:\n print(\"Attention : Pr\u00e9sence de cellules vides ou d'observations r\u00e9p\u00e9t\u00e9es.\")\nelse:\n print(\"Conception exp\u00e9rimentale parfaite : Plan enti\u00e8rement crois\u00e9 et \u00e9quilibr\u00e9.\")<\/code><\/pre>\n5. Ex\u00e9cution pas \u00e0 pas du calcul du CCI avec pingouin.intraclass_corr()<\/h2>\n
5.1 Param\u00e9trage exhaustif de la fonction<\/h3>\n
pingouin.intraclass_corr()<\/code> synth\u00e9tise l’ensemble des d\u00e9rivations math\u00e9matiques n\u00e9cessaires pour quantifier la fid\u00e9lit\u00e9 inter-juges. Contrairement aux approches s\u00e9quentielles imposant l’\u00e9criture de multiples mod\u00e8les lin\u00e9aires, cette fonction n’exige que quatre param\u00e8tres obligatoires pour fonctionner de mani\u00e8re optimale :<\/p>\n\n
data<\/code> : Le DataFrame Pandas contenant la totalit\u00e9 des observations sous format long structur\u00e9.<\/li>\ntargets<\/code> : Une cha\u00eene de caract\u00e8res indiquant le nom exact de la colonne d\u00e9signant les entit\u00e9s \u00e9valu\u00e9es (les patients, les s\u00e9quences vid\u00e9o, les items).<\/li>\nraters<\/code> : Une cha\u00eene de caract\u00e8res pr\u00e9cisant le nom de la colonne identifiant les \u00e9valuateurs ind\u00e9pendants.<\/li>\nratings<\/code> : Une cha\u00eene de caract\u00e8res sp\u00e9cifiant le nom de la variable num\u00e9rique repr\u00e9sentant la mesure continue ou pseudo-continue \u00e0 analyser.<\/li>\nnan_policy<\/code> : Optionnellement, le comportement face aux valeurs manquantes, dont la valeur par d\u00e9faut \u00e9limine les cibles incompl\u00e8tes (listwise deletion<\/em>).<\/li>\n<\/ul>\n5.2 Impl\u00e9mentation du code complet d’ex\u00e9cution<\/h3>\n
import pingouin as pg\n\n# Appel direct de la fonction de corr\u00e9lation intraclasse\ntable_resultats_icc = pg.intraclass_corr(\n data=df_psychometrie,\n targets='Target',\n raters='Rater',\n ratings='Rating'\n)\n\n# Configuration de l'affichage Pandas pour examiner toutes les colonnes\npd.set_option('display.max_columns', None)\npd.set_option('display.width', 1000)\npd.set_option('display.precision', 4)\n\nprint(\"n--- TABLEAU DES R\u00c9SULTATS PSYCHOM\u00c9TRIQUES DU CCI ---\")\nprint(table_resultats_icc)<\/code><\/pre>\n5.3 Options de personnalisation et variantes syntaxiques<\/h3>\n
def analyser_fidelite_psychometrique(df, col_cible, col_juge, col_score, nom_echelle=\"Echelle_Clinique\"):\n \"\"\"\n Ex\u00e9cute le calcul du CCI et formate la sortie pour exploitation acad\u00e9mique.\n \"\"\"\n icc_df = pg.intraclass_corr(\n data=df,\n targets=col_cible,\n raters=col_juge,\n ratings=col_score\n )\n \n # Ajout du nom de l'\u00e9chelle analys\u00e9e pour faciliter la synth\u00e8se multicrit\u00e8re\n icc_df.insert(0, 'Echelle', nom_echelle)\n \n # Filtrage cibl\u00e9 sur le mod\u00e8le 2 (Accord Absolu)\n icc_modele_2 = icc_df[icc_df['Type'].isin(['ICC2', 'ICC2k'])].copy()\n \n # S\u00e9paration et formatage propre des bornes de l'intervalle de confiance\n icc_modele_2['IC95_Inf'] = icc_modele_2['CI95%'].apply(lambda x: x[0])\n icc_modele_2['IC95_Sup'] = icc_modele_2['CI95%'].apply(lambda x: x[1])\n \n return icc_df, icc_modele_2\n\n# Ex\u00e9cution de la fonction modulaire\ntableau_complet, synthese_modele_2 = analyser_fidelite_psychometrique(\n df=df_psychometrie,\n col_cible='Target',\n col_juge='Rater',\n col_score='Rating',\n nom_echelle='Inventaire_Anxiete'\n)\n\n# Exportation automatique pour publication\nsynthese_modele_2.to_csv('resultats_fidelite_inter_juges.csv', index=False)\nprint(\"Synth\u00e8se export\u00e9e avec succ\u00e8s.\")\nprint(synthese_modele_2[['Echelle', 'Type', 'ICC', 'IC95_Inf', 'IC95_Sup', 'Fval', 'pval']])<\/code><\/pre>\n6. Analyse approfondie des sorties statistiques g\u00e9n\u00e9r\u00e9es par Python<\/h2>\n
6.1 D\u00e9composition des colonnes du tableau de sortie de Pingouin<\/h3>\n
intraclass_corr<\/code> comprend syst\u00e9matiquement huit colonnes distinctes :<\/p>\n\n
Type<\/code> : L’abr\u00e9viation technique d\u00e9signant la forme sp\u00e9cifique du coefficient selon la nomenclature internationale : ICC1<\/code>, ICC2<\/code>, ICC3<\/code>, ICC1k<\/code>, ICC2k<\/code>, et ICC3k<\/code>.<\/li>\nDescription<\/code> : La formulation explicite du design exp\u00e9rimental mod\u00e9lis\u00e9. Par exemple, pour l’ICC2, Pingouin indique Two-way random effects, absolute agreement, single rater\/measurement<\/em>.<\/li>\nICC<\/code> : L’estimation ponctuelle param\u00e9trique du coefficient de corr\u00e9lation intraclasse calcul\u00e9e sur l’\u00e9chantillon empirique.<\/li>\nF<\/code> : La valeur observ\u00e9e de la statistique de test issue de la distribution de Snedecor-Fisher.<\/li>\ndf1<\/code> : Le nombre de degr\u00e9s de libert\u00e9 associ\u00e9 au num\u00e9rateur du test F (correspondant au nombre de sujets \u00e9valu\u00e9s moins un : n – 1<\/em>).<\/li>\ndf2<\/code> : Le nombre de degr\u00e9s de libert\u00e9 associ\u00e9 au d\u00e9nominateur du test de Fisher.<\/li>\npval<\/code> : Le degr\u00e9 de signification statistique (valeur de p<\/em>) associ\u00e9 au test de l’hypoth\u00e8se nulle d’\u00e9galit\u00e9 du coefficient \u00e0 z\u00e9ro.<\/li>\nCI95%<\/code> : Une structure de liste Python contenant les bornes inf\u00e9rieure et sup\u00e9rieure de l’intervalle de confiance calcul\u00e9 au seuil de confiance bilat\u00e9ral de 95 %.<\/li>\n<\/ul>\nICC3<\/code> (coh\u00e9rence pure) est syst\u00e9matiquement sup\u00e9rieure ou \u00e9gale \u00e0 celle de l’ICC2<\/code> (accord absolu), car l’ICC3 soustrait la variance inter-juges de la composante d’erreur, ignorant les \u00e9carts syst\u00e9matiques de s\u00e9v\u00e9rit\u00e9 entre les cliniciens.<\/p>\n6.2 Intervalles de confiance \u00e0 95 % et inf\u00e9rence statistique<\/h3>\n
6.3 Tests de significativit\u00e9 : degr\u00e9s de libert\u00e9, valeur F et p-valeur<\/h3>\n
\n
7. Arbre d\u00e9cisionnel pour s\u00e9lectionner la forme ad\u00e9quate de CCI<\/h2>\n
7.1 Crit\u00e8re 1 : \u00c9chantillonnage et statut des \u00e9valuateurs<\/h3>\n
\n
7.2 Crit\u00e8re 2 : Mesure unique contre moyenne de plusieurs mesures<\/h3>\n
7.3 Crit\u00e8re 3 : Accord absolu versus coh\u00e9rence relative<\/h3>\n
8. Calcul alternatif via d\u00e9composition de la variance avec Statsmodels<\/h2>\n
8.1 Formulation de l’ANOVA \u00e0 deux facteurs avec r\u00e9p\u00e9titions<\/h3>\n
import statsmodels.api as sm\nimport statsmodels.formula.api as smf\n\n# Mod\u00e9lisation lin\u00e9aire de la d\u00e9composition des scores\nmodele_ols = smf.ols('Rating ~ C(Target) + C(Rater)', data=df_psychometrie).fit()\n\n# Extraction de la table d'analyse de variance de Type II\ntable_anova = sm.stats.anova_lm(modele_ols, typ=2)\nprint(\"--- TABLEAU D'ANALYSE DE VARIANCE (STATSMODELS) ---\")\nprint(table_anova)<\/code><\/pre>\n8.2 Calcul programmatique direct des \u00e9quations de Shrout et Fleiss<\/h3>\n
import numpy as np\n\n# 1. Extraction des composantes de variance (Carr\u00e9s Moyens)\nbms = table_anova.loc['C(Target)', 'sum_sq'] \/ table_anova.loc['C(Target)', 'df']\njms = table_anova.loc['C(Rater)', 'sum_sq'] \/ table_anova.loc['C(Rater)', 'df']\nems = table_anova.loc['Residual', 'sum_sq'] \/ table_anova.loc['Residual', 'df']\n\nn = df_psychometrie['Target'].nunique()\nk = df_psychometrie['Rater'].nunique()\n\nprint(f\"BMS (Cibles) : {bms:.4f}\")\nprint(f\"JMS (Juges) : {jms:.4f}\")\nprint(f\"EMS (Erreur) : {ems:.4f}\")\n\n# 2. Application manuelle des \u00e9quations de Shrout et Fleiss\n# Mod\u00e8le 2 : \u00c9valuateur unique, accord absolu\nicc_2_1_manuel = (bms - ems) \/ (bms + (k - 1) * ems + (k \/ n) * (jms - ems))\n\n# Mod\u00e8le 2 : Moyenne de k \u00e9valuateurs, accord absolu\nicc_2_k_manuel = (bms - ems) \/ (bms + (jms - ems) \/ n)\n\n# Mod\u00e8le 3 : \u00c9valuateur unique, coh\u00e9rence relative\nicc_3_1_manuel = (bms - ems) \/ (bms + (k - 1) * ems)\n\nprint(\"n--- COMPARAISON DES CALCULS MANUELS ET PINGOUIN ---\")\nprint(f\"CCI(2,1) Calcul\u00e9 : {icc_2_1_manuel:.4f}\")\nprint(f\"CCI(2,k) Calcul\u00e9 : {icc_2_k_manuel:.4f}\")\nprint(f\"CCI(3,1) Calcul\u00e9 : {icc_3_1_manuel:.4f}\")<\/code><\/pre>\n8.3 Mod\u00e8les lin\u00e9aires mixtes hi\u00e9rarchiques pour designs complexes<\/h3>\n
statsmodels.regression.mixed_linear_model.MixedLM<\/code>, il est possible d’estimer directement les composantes de variance via la m\u00e9thode du maximum de vraisemblance restreinte (REML). Cette approche g\u00e8re naturellement les observations manquantes sans imposer la suppression arbitraire de cibles enti\u00e8res :<\/p>\nimport statsmodels.formula.api as smf\n\n# Formulation du mod\u00e8le mixte \u00e0 intercepts al\u00e9atoires crois\u00e9s\n# Le facteur Target est mod\u00e9lis\u00e9 comme effet al\u00e9atoire, le facteur Rater comme effet fixe ou al\u00e9atoire\nmodele_mixte = smf.mixedlm(\n formula=\"Rating ~ 1\",\n data=df_psychometrie,\n groups=df_psychometrie[\"Target\"],\n re_formula=\"1\"\n).fit(reml=True)\n\nprint(modele_mixte.summary())\n\n# Extraction directe des composantes de variance estim\u00e9es par REML\nvar_sujets = float(modele_mixte.cov_re.iloc[0, 0])\nvar_residuelle = float(modele_mixte.scale)\n\n# Estimation directe du coefficient de corr\u00e9lation intraclasse\nicc_reml = var_sujets \/ (var_sujets + var_residuelle)\nprint(f\"nCCI estim\u00e9 via REML (Mod\u00e8le Lin\u00e9aire Mixte) : {icc_reml:.4f}\")<\/code><\/pre>\n9. Directives d’interpr\u00e9tation et normes psychom\u00e9triques<\/h2>\n
9.1 Seuils d’interpr\u00e9tation selon Koo et Li (2016)<\/h3>\n