![\"\"](\"http:\/\/french.arabpsychology.com\/wp-content\/uploads\/2026\/09\/fleiss_kappa_excel2.png\")
<\/figure>\n1. Introduction \u00e9pist\u00e9mologique et psychom\u00e9trique au kappa de Fleiss<\/h2>\n1.1 Origine conceptuelle et utilit\u00e9 en recherche psychologique<\/h3>\n
L’\u00e9mergence des indices formels de fid\u00e9lit\u00e9 inter-juges trouve son ancrage historique dans les d\u00e9bats \u00e9pist\u00e9mologiques qui ont agit\u00e9 la psychiatrie et la psychologie clinique au cours de la seconde moiti\u00e9 du vingti\u00e8me si\u00e8cle. Avant l’av\u00e8nement des classifications diagnostiques op\u00e9rationnalis\u00e9es telles que le Manuel diagnostique et statistique des troubles mentaux (DSM<\/a>), l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 des jugements diagnostiques port\u00e9s sur un m\u00eame tableau clinique constituait une vuln\u00e9rabilit\u00e9 scientifique majeure. C’est dans ce contexte de refondation m\u00e9thodologique que le biostatisticien Joseph L. Fleiss<\/a> publia en 1971 son article s\u00e9minal introduisant une g\u00e9n\u00e9ralisation du coefficient kappa pour des \u00e9valuateurs multiples, prolongeant ainsi les travaux pionniers initi\u00e9s par Jacob Cohen en 1960.<\/p>\n La n\u00e9cessit\u00e9 d’une telle avanc\u00e9e r\u00e9sidait dans l’insuffisance flagrante du pourcentage d’accord brut. Consid\u00e9rer que deux cliniciens s’accordent dans quatre-vingts pour cent des situations peut sembler rassurant au premier abord. Pourtant, si une pathologie sp\u00e9cifique n’affecte que deux pour cent d’une cohorte, deux praticiens diagnostiquant syst\u00e9matiquement l’absence de trouble sans m\u00eame examiner les patients pr\u00e9senteraient un accord apparent de quatre-vingt-seize pour cent par simple effet de distribution marginale. L’accord brut agr\u00e8ge indistinctement la comp\u00e9tence clinique et la pr\u00e9valence fortuite. L’apport fondamental de Fleiss a \u00e9t\u00e9 d’\u00e9laborer une correction math\u00e9matique qui neutralise cette composante stochastique, isolant ainsi la v\u00e9ritable fid\u00e9lit\u00e9 de la mesure.<\/p>\n En psychom\u00e9trie moderne, cette distinction entre la validit\u00e9 d’une mesure et sa fid\u00e9lit\u00e9 inter-\u00e9valuateurs demeure cardinale. La fid\u00e9lit\u00e9 constitue une condition n\u00e9cessaire mais non suffisante \u00e0 la validit\u00e9 : un ensemble de psychiatres peut s’accorder de mani\u00e8re unanime et reproductible sur un diagnostic totalement erron\u00e9 d’un point de vue \u00e9tiologique. Toutefois, sans une fid\u00e9lit\u00e9 inter-juges rigoureusement \u00e9tablie, aucune validit\u00e9 de construit ou de crit\u00e8re ne peut \u00eatre revendiqu\u00e9e. Qu’il s’agisse de valider des grilles d’observation du comportement de l’enfant en milieu scolaire, de coter des entretiens semi-structur\u00e9s ou d’homog\u00e9n\u00e9iser les diagnostics au sein de cohortes \u00e9pid\u00e9miologiques internationales, le kappa de Fleiss apporte le soubassement quantitatif n\u00e9cessaire \u00e0 la cr\u00e9dibilit\u00e9 des sciences du comportement.<\/p>\n L’application l\u00e9gitime du coefficient de Fleiss requiert le respect scrupuleux de plusieurs postulats distributionnels et structurels. En premier lieu, la variable d’int\u00e9r\u00eat doit \u00eatre strictement cat\u00e9gorielle, qu’elle soit nominale pure (par exemple : sous-types de schizophr\u00e9nie, cat\u00e9gories diagnostiques ind\u00e9pendantes) ou ordonn\u00e9e, bien que la formule canonique de Fleiss ne prenne pas en consid\u00e9ration la distance m\u00e9trique entre les \u00e9chelons ordinaux. Chaque sujet \u00e9valu\u00e9 doit \u00eatre affect\u00e9 \u00e0 une et une seule cat\u00e9gorie mutuellement exclusive : l’exhaustivit\u00e9 et l’exclusion mutuelle du syst\u00e8me de cotation forment le socle logique de la matrice d’analyse.<\/p>\n En second lieu, la structure d’\u00e9chantillonnage des \u00e9valuateurs impose une distinction conceptuelle majeure par rapport aux plans d’exp\u00e9rience dyadiques classiques. Contrairement au kappa de Cohen qui exige que les deux m\u00eames juges \u00e9valuent l’int\u00e9gralit\u00e9 du panel, le mod\u00e8le math\u00e9matique de Fleiss s’applique lorsque chaque sujet est \u00e9valu\u00e9 par un nombre constant $n$<\/span> de juges s\u00e9lectionn\u00e9s au hasard parmi une population th\u00e9orique infinie d’\u00e9valuateurs potentiels. Les juges qui \u00e9valuent le premier patient ne sont pas n\u00e9cessairement les m\u00eames que ceux qui \u00e9valuent le dixi\u00e8me. Ce postulat de s\u00e9lection al\u00e9atoire conf\u00e8re \u00e0 l’indice une robustesse remarquable dans les contextes institutionnels r\u00e9els, comme les services hospitaliers o\u00f9 les plannings de garde entra\u00eenent une rotation continuelle du coll\u00e8ge m\u00e9dical.<\/p>\n Enfin, le mod\u00e8le repose sur l’hypoth\u00e8se primordiale d’ind\u00e9pendance statistique des cotations. Cela implique formellement que chaque \u00e9valuateur doit porter son jugement en aveugle absolu des d\u00e9lib\u00e9rations de ses pairs. Toute concertation pr\u00e9alable, toute communication non verbale lors des sessions de cotation ou toute connaissance pr\u00e9alable de l’avis \u00e9mis par un confr\u00e8re viole l’hypoth\u00e8se de g\u00e9n\u00e9ration autonome des probabilit\u00e9s conditionnelles, induisant une surinflation artificielle du coefficient de fid\u00e9lit\u00e9.<\/p>\n Bien que des progiciels statistiques sp\u00e9cialis\u00e9s tels que R, SPSS, SAS ou Stata proposent des routines automatis\u00e9es pour calculer cet estimateur, le recours d\u00e9lib\u00e9r\u00e9 \u00e0 Microsoft Excel pr\u00e9sente des vertus \u00e9pist\u00e9mologiques et op\u00e9rationnelles de premier ordre. Dans les environnements informatis\u00e9s ferm\u00e9s, l’utilisation de modules pr\u00e9programm\u00e9s s’apparente fr\u00e9quemment \u00e0 une d\u00e9marche de bo\u00eete noire : le chercheur introduit une matrice de donn\u00e9es brute et recueille un r\u00e9sultat num\u00e9rique sans appr\u00e9hender la fa\u00e7on dont les termes de variance et les pond\u00e9rations marginales ont \u00e9t\u00e9 combin\u00e9s. Cette opacit\u00e9 favorise les erreurs d’interpr\u00e9tation m\u00e9thodologique, particuli\u00e8rement face \u00e0 des jeux de donn\u00e9es pr\u00e9sentant des anomalies de distribution.<\/p>\n D\u00e9composer le calcul du kappa de Fleiss pas \u00e0 pas dans une feuille de calcul permet au chercheur ou \u00e0 l’\u00e9tudiant en master et doctorat de mat\u00e9rialiser chaque transition alg\u00e9brique. L’observation directe de la somme des carr\u00e9s des affectations, de la construction des proportions marginales et de la dissociation effective entre l’accord empirique global et l’accord fortuit transforme une \u00e9quation abstraite en un processus arithm\u00e9tique parfaitement intelligible. Cette transparence p\u00e9dagogique d\u00e9samorce l’appr\u00e9hension math\u00e9matique et consolide la rigueur m\u00e9thodologique des investigateurs.<\/p>\n Sur le plan pratique et logistique, Microsoft Excel b\u00e9n\u00e9ficie d’une universalit\u00e9 d’implantation qu’aucun langage d\u00e9di\u00e9 ne peut \u00e9galer dans les contextes hospitaliers ou administratifs contraints. De nombreuses structures cliniques restreignent l’installation de logiciels libres ou payants pour des raisons imp\u00e9ratives de s\u00e9curit\u00e9 informatique ou de conformit\u00e9 r\u00e9glementaire. Excel, pr\u00e9sent de facto sur l’immense majorit\u00e9 des postes de travail, offre une plateforme p\u00e9renne, imm\u00e9diatement auditable par les pairs, facilitant le partage de fichiers d’analyse totalement transparents au sein des comit\u00e9s d’\u00e9thique et des collectifs de recherche internationaux.<\/p>\n L’architecture math\u00e9matique du kappa de Fleiss s’inscrit dans la lign\u00e9e directe des indices d’accord corrig\u00e9s du hasard, dont la structure g\u00e9n\u00e9rique standardise l’\u00e9cart entre le consensus observ\u00e9 et le consensus th\u00e9orique imputable \u00e0 la seule fluctuation stochastique. L’expression canonique g\u00e9n\u00e9rale se d\u00e9finit selon le quotient suivant :<\/p>\n Kappa = (P_barre – P_barre_e) \/ (1 – P_barre_e)<\/strong><\/p>\n Dans cette expression formelle, le terme P_barre<\/strong> symbolise la proportion moyenne d’accord effectivement constat\u00e9e entre les \u00e9valuateurs \u00e0 travers l’ensemble des sujets de la cohorte. Il s’agit de la moyenne arithm\u00e9tique des indices d’accord individuel calcul\u00e9s pour chaque entit\u00e9 observ\u00e9e. \u00c0 l’inverse, le terme P_barre_e<\/strong> quantifie la proportion moyenne d’accord que l’on s’attendrait \u00e0 observer si l’ensemble des juges formulaient leurs avis de mani\u00e8re totalement al\u00e9atoire, en respectant uniquement les propensions marginales globales de distribution des cat\u00e9gories diagnostiques.<\/p>\n Le d\u00e9nominateur (1 – P_barre_e)<\/strong> joue quant \u00e0 lui un r\u00f4le fondamental de normalisation : il repr\u00e9sente le gain maximal d’accord possible au-del\u00e0 du hasard. Ainsi, le kappa exprime la fraction effective de l’accord potentiel non stochastique que les observateurs sont parvenus \u00e0 mat\u00e9rialiser. Sur le plan asymptotique, l’indice est born\u00e9 sup\u00e9rieurement par la valeur th\u00e9orique de 1,00, correspondant \u00e0 un consensus absolu et unanime de tous les juges sur l’ensemble des sujets. Sa borne inf\u00e9rieure peut toutefois devenir n\u00e9gative, tombant potentiellement jusqu’\u00e0 des valeurs comprises entre 0 et -1 lorsque l’accord observ\u00e9 s’av\u00e8re syst\u00e9matiquement inf\u00e9rieur \u00e0 ce que pr\u00e9dirait un tirage au sort probabiliste.<\/p>\n Pour d\u00e9river rigoureusement le terme global P_barre<\/strong>, il est imp\u00e9ratif d’\u00e9valuer pr\u00e9alablement le niveau d’homog\u00e9n\u00e9it\u00e9 interne des cotations pour chaque sujet individuel pris isol\u00e9ment. Soit un ensemble de $N$<\/span> sujets d’\u00e9tude (indic\u00e9s par $i$<\/span>, variant de 1 \u00e0 $N$<\/span>) et un coll\u00e8ge de $n$<\/span> \u00e9valuateurs statuant sur un ensemble de $k$<\/span> cat\u00e9gories diagnostiques mutuellement exclusives (indic\u00e9es par $j$<\/span>, variant de 1 \u00e0 $k$<\/span>). Soit $n_{ij}$<\/span> le d\u00e9compte strict du nombre de juges ayant assign\u00e9 le sujet $i$<\/span> \u00e0 la modalit\u00e9 diagnostique sp\u00e9cifique $j$<\/span>.<\/p>\n La proportion d’accord observ\u00e9e pour le sujet $i$<\/span>, d\u00e9sign\u00e9e par le terme $P_i$<\/span>, correspond au ratio entre le nombre de paires concordantes r\u00e9elles de juges et le nombre total de paires distinctes que l’on peut former \u00e0 partir des $n$<\/span> \u00e9valuateurs. Sachant que le nombre de paires possibles parmi $n$<\/span> juges est donn\u00e9 par la formule combinatoire $n(n – 1) \/ 2$<\/span>, et que le nombre de paires concordantes au sein de la cat\u00e9gorie $j$<\/span> est \u00e9gal \u00e0 $n_{ij}(n_{ij} – 1) \/ 2$<\/span>, la sommation sur l’ensemble des $k$<\/span> cat\u00e9gories aboutit, apr\u00e8s simplification alg\u00e9brique du facteur 2, \u00e0 l’expression formelle suivante :<\/p>\n P_i = [ SOMME(j=1 \u00e0 k) (n_ij^2) – n ] \/ [ n * (n – 1) ]<\/strong><\/p>\n Cette formulation \u00e9l\u00e9gante repose sur la somme quadratique des effectifs par cat\u00e9gorie. Intuitivement, si les 14 juges de notre panel s’accordent unaniment en attribuant tous le sujet \u00e0 la cat\u00e9gorie A, $n_{iA}$<\/span> vaut 14 et les autres effectifs valent z\u00e9ro. La somme des carr\u00e9s donne 196 ; en soustrayant 14, on obtient 182, qui, divis\u00e9 par le d\u00e9nominateur $14 \\times 13 = 182$<\/span>, g\u00e9n\u00e8re un $P_i$<\/span> parfait de 1,00. \u00c0 l’oppos\u00e9, si les voix des juges s’\u00e9parpillent de fa\u00e7on uniforme entre les cat\u00e9gories, la somme des carr\u00e9s chute drastiquement, r\u00e9duisant la valeur locale de $P_i$<\/span> \u00e0 un niveau proche de z\u00e9ro. La moyenne non pond\u00e9r\u00e9e des $P_i$<\/span> sur les $N$<\/span> sujets fournit la m\u00e9trique P_barre<\/strong>.<\/p>\n La quantification de l’accord fortuit P_barre_e<\/strong> n\u00e9cessite une mod\u00e9lisation rigoureuse des pr\u00e9f\u00e9rences tendancielles globales du coll\u00e8ge d’\u00e9valuateurs \u00e0 travers toute l’exp\u00e9rimentation. Pour chaque cat\u00e9gorie diagnostique $j$<\/span>, on d\u00e9termine sa proportion marginale d’occurrence globale, d\u00e9sign\u00e9e par $p_j$<\/span>. Cette valeur exprime la probabilit\u00e9 a priori qu’un juge, pris au hasard au sein du panel et examinant un sujet quelconque de la cohorte, assigne spontan\u00e9ment la modalit\u00e9 $j$<\/span>.<\/p>\n L’estimation empirique de cette proportion marginale s’obtient en divisant la somme de tous les jugements port\u00e9s dans la cat\u00e9gorie $j$<\/span> par le nombre total absolu d’actes d’\u00e9valuation r\u00e9alis\u00e9s au cours de l’\u00e9tude (soit le produit du nombre de sujets $N$<\/span> par le nombre de juges $n$<\/span>) :<\/p>\n p_j = [ SOMME(i=1 \u00e0 N) (n_ij) ] \/ [ N * n ]<\/strong><\/p>\n Sous l’hypoth\u00e8se nulle d’ind\u00e9pendance probabiliste totale entre deux \u00e9valuateurs distincts, la probabilit\u00e9 th\u00e9orique que deux juges assignent ind\u00e9pendamment le m\u00eame sujet \u00e0 la modalit\u00e9 $j$<\/span> \u00e9quivaut pr\u00e9cis\u00e9ment au produit de leurs probabilit\u00e9s marginales respectives, soit $p_j \\times p_j = p_j^2$<\/span>. En prolongeant ce raisonnement axiomatique \u00e0 l’ensemble du spectre diagnostique, la probabilit\u00e9 cumul\u00e9e que deux juges choisis au hasard s’accordent par pure co\u00efncidence sur l’une quelconque des $k$<\/span> cat\u00e9gories disponibles s’exprime comme la somme vectorielle des carr\u00e9s des proportions marginales :<\/p>\n P_barre_e = SOMME(j=1 \u00e0 k) (p_j^2)<\/strong><\/p>\n Il appara\u00eet clairement \u00e0 travers cette formulation que la pr\u00e9valence diff\u00e9rentielle des pathologies cliniques exerce un poids d\u00e9terminant sur la valeur de $P_e$<\/span>. Si une cat\u00e9gorie clinique concentre \u00e0 elle seule quatre-vingt-dix pour cent des avis du coll\u00e8ge m\u00e9dical, son $p_j^2$<\/span> atteindra la valeur consid\u00e9rable de 0,81, imposant de facto un seuil d’accord al\u00e9atoire excessivement \u00e9lev\u00e9 que l’accord observ\u00e9 devra imp\u00e9rativement surpasser pour attester d’une fid\u00e9lit\u00e9 r\u00e9elle.<\/p>\n Le coefficient kappa d\u00e9velopp\u00e9 par Jacob Cohen (1960)<\/a> constitue le pr\u00e9curseur universellement reconnu des mesures de concordance ajust\u00e9es au hasard. Cependant, son architecture math\u00e9matique repose sur une contrainte structurelle infranchissable : il est strictement bilat\u00e9ral. Il a \u00e9t\u00e9 con\u00e7u pour comparer exclusivement une dyade fixe d’observateurs, d\u00e9nomm\u00e9s conventionnellement Juge 1 et Juge 2, \u00e9valuant un ensemble invariant de cibles \u00e0 l’aide d’une table de contingence carr\u00e9e d’ordre $k \\times k$<\/span>.<\/p>\n Cette limitation intrins\u00e8que devient hautement p\u00e9nalisante dans la recherche clinique contemporaine. Lorsque les investigations mobilisent des panels de dix, quinze ou vingt experts, ou lorsqu’un protocole multicentrique implique une rotation constante des soignants au chevet des patients, le formalisme de Cohen est totalement inop\u00e9rant. Face \u00e0 cette impasse, certains chercheurs commettent l’erreur m\u00e9thodologique de calculer l’ensemble des kappas de Cohen pour toutes les paires possibles de juges, avant d’en faire la moyenne arithm\u00e9tique simple.<\/p>\n Cette approche d’agr\u00e9gation artificielle soul\u00e8ve de graves objections statistiques. Les paires d’\u00e9valuateurs partagent des sujets communs et ne sont donc pas statistiquement ind\u00e9pendantes ; la moyenne des kappas par paires n’ob\u00e9it \u00e0 aucune distribution th\u00e9orique standard, rendant tout calcul d’erreur type asymptotique ou de valeur p hautement biais\u00e9. L’agr\u00e9gation occulte les interactions complexes au sein du groupe et engendre une d\u00e9perdition d’information substantielle sur la variance inter-juges globale.<\/p>\n Le coefficient de Fleiss transcende ces restrictions dyadiques en r\u00e9organisant conceptuellement la structure des donn\u00e9es. Plut\u00f4t que de croiser deux juges dans une matrice ferm\u00e9e, l’approche de Fleiss envisage les observations sous l’angle d’une table d’allocation d’effectifs : les lignes repr\u00e9sentent les sujets et les colonnes repr\u00e9sentent les modalit\u00e9s qualitatives, le contenu de chaque cellule indiquant le volume de juges convergeant vers cette option.<\/p>\n Cette r\u00e9organisation matricielle octroie au kappa de Fleiss une souplesse op\u00e9rationnelle exceptionnelle. Il prend en charge de mani\u00e8re native un nombre quelconque d’\u00e9valuateurs ($m ge 3$<\/span>). De surcro\u00eet, le formalisme math\u00e9matique n’exige aucunement que les juges soient identifi\u00e9s de fa\u00e7on nominative d’un item \u00e0 l’autre : le sujet num\u00e9ro 1 peut \u00eatre examin\u00e9 par les praticiens A, B et C, tandis que le sujet num\u00e9ro 2 est \u00e9valu\u00e9 par les praticiens D, E et F. La seule exigence contraignante r\u00e9side dans la fixit\u00e9 du nombre total $n$<\/span> de juges \u00e9valuant chaque cible.<\/p>\n Il importe toutefois de distinguer conceptuellement le kappa de Fleiss standard du kappa pond\u00e9r\u00e9. Le mod\u00e8le classique de Fleiss traite chaque d\u00e9saccord avec une s\u00e9v\u00e9rit\u00e9 absolue et uniforme : une divergence entre un diagnostic de \u00ab\u00a0D\u00e9pression l\u00e9g\u00e8re\u00a0\u00bb et \u00ab\u00a0D\u00e9pression mod\u00e9r\u00e9e\u00a0\u00bb est p\u00e9nalis\u00e9e avec la m\u00eame rigueur arithm\u00e9tique qu’un d\u00e9saccord frontal entre \u00ab\u00a0Sujet sain\u00a0\u00bb et \u00ab\u00a0Schizophr\u00e9nie aigu\u00eb\u00a0\u00bb. Pour des variables purement ordinales graduelles, d’autres formalismes ou extensions pond\u00e9r\u00e9es s’av\u00e8rent pr\u00e9f\u00e9rables.<\/p>\n Face \u00e0 la multiplicit\u00e9 des indices psychom\u00e9triques document\u00e9s dans la litt\u00e9rature, le choix d’un coefficient de fid\u00e9lit\u00e9 inter-juges ne doit rien au hasard et ob\u00e9it \u00e0 un arbre d\u00e9cisionnel rigoureux centr\u00e9 sur trois crit\u00e8res pr\u00e9pond\u00e9rants : le niveau de mesure des donn\u00e9es, le nombre d’\u00e9valuateurs et la structure des donn\u00e9es manquantes. Pour approfondir ces aspects, les crit\u00e8res formels de l’American Psychological Association<\/a> pr\u00e9conisent une explicitation int\u00e9grale de ces param\u00e8tres d\u00e8s le protocole initial.<\/p>\n Si la variable \u00e9tudi\u00e9e est quantitative continue (par exemple, le score brut \u00e0 une \u00e9chelle d’\u00e9valuation de l’anxi\u00e9t\u00e9 comme le STAI ou l’HAM-A), l’investigateur doit imm\u00e9diatement s’orienter vers le Coefficient de Corr\u00e9lation Intraclasse<\/a> (CCI), d\u00e9riv\u00e9 des mod\u00e8les d’analyse de variance \u00e0 effets al\u00e9atoires ou mixtes. Si la variable est de nature nominale et que le protocole ne mobilise rigoureusement que deux \u00e9valuateurs constants \u00e9valuant la totalit\u00e9 des items, le kappa de Cohen (ou son pendant pond\u00e9r\u00e9 si la variable est ordinale) demeure l’indice de r\u00e9f\u00e9rence.<\/p>\n1.2 Conditions d’application et postulats statistiques fondamentaux<\/h3>\n
1.3 Avantages de l’impl\u00e9mentation du kappa de Fleiss dans Microsoft Excel<\/h3>\n
2. Fondements math\u00e9matiques et d\u00e9composition de l’\u00e9quation de Fleiss<\/h2>\n
2.1 La formulation canonique du coefficient de Fleiss<\/h3>\n
![\"Fleiss\"](\"http:\/\/french.arabpsychology.com\/wp-content\/uploads\/2026\/09\/fleiss_kappa_excel1.png\")
2.2 Mod\u00e9lisation de l’accord observ\u00e9 par sujet (Pi)<\/h3>\n
2.3 Mod\u00e9lisation de l’accord attribuable au hasard (Pe)<\/h3>\n
3. Comparaison m\u00e9thodologique : Kappa de Cohen versus Kappa de Fleiss<\/h2>\n
3.1 Limites structurelles du Kappa de Cohen \u00e0 deux \u00e9valuateurs<\/h3>\n
3.2 Sp\u00e9cificit\u00e9s architecturales du Kappa de Fleiss<\/h3>\n
3.3 Arbre d\u00e9cisionnel pour le choix du bon coefficient en psychologie<\/h3>\n