La mesure en sciences humaines, en psychologie et en sciences de l’\u00e9ducation se heurte depuis ses origines \u00e0 un d\u00e9fi fondamental : la variabilit\u00e9 inh\u00e9rente aux comportements humains et aux contextes au sein desquels ils sont observ\u00e9s. Contrairement aux sciences physiques, o\u00f9 les instruments de mesure peuvent \u00eatre \u00e9talonn\u00e9s contre des constantes fondamentales avec un degr\u00e9 de pr\u00e9cision chirurgical, l’\u00e9valuation psychologique et p\u00e9dagogique op\u00e8re \u00e0 travers des approximations successives. Les scores obtenus par des individus \u00e0 des \u00e9preuves standardis\u00e9es, des \u00e9chelles cliniques ou des \u00e9valuations de la performance ne refl\u00e8tent jamais purement et simplement le trait latent sous-jacent. Ils sont in\u00e9vitablement brouill\u00e9s par une multitude de sources de fluctuations fortuites ou syst\u00e9matiques, allant de l’\u00e9chantillonnage particulier des questions \u00e0 la s\u00e9v\u00e9rit\u00e9 idiosyncrasique des \u00e9valuateurs, en passant par le moment de la passation et les conditions mat\u00e9rielles de passation.<\/p>\n
Face \u00e0 cette complexit\u00e9, la Th\u00e9orie Classique des Tests<\/a> (TCT), initi\u00e9e au d\u00e9but du XXe si\u00e8cle par Charles Spearman, a longtemps constitu\u00e9 le cadre th\u00e9orique h\u00e9g\u00e9monique. Bien qu’op\u00e9rationnelle et \u00e9l\u00e9gante dans sa simplicit\u00e9 axiomatique, la TCT a rapidement r\u00e9v\u00e9l\u00e9 des limites insurmontables lorsqu’il s’est agi d’analyser des protocoles d’\u00e9valuation complexes impliquant simultan\u00e9ment des observateurs multiples, des t\u00e2ches diversifi\u00e9es et des occasions r\u00e9p\u00e9t\u00e9es dans le temps. En r\u00e9duisant l’erreur de mesure \u00e0 une entit\u00e9 indiff\u00e9renci\u00e9e et globale, la TCT contraignait le praticien \u00e0 choisir arbitrairement une facette d’erreur unique \u2014 estimant s\u00e9par\u00e9ment la coh\u00e9rence interne, la stabilit\u00e9 temporelle ou l’accord inter-juges \u2014, sans jamais pouvoir saisir les interactions complexes et dynamiques unissant ces diff\u00e9rentes sources d’incertitude.<\/p>\n C’est au c\u0153ur de cette impasse m\u00e9thodologique que s’est d\u00e9ploy\u00e9e la pens\u00e9e de Lee J. Cronbach<\/a> et de ses \u00e9minents collaborateurs. En publiant au d\u00e9but des ann\u00e9es 1970 une reformulation radicale de la mesure comportementale, Cronbach a op\u00e9r\u00e9 un basculement paradigmatique majeur : la naissance de la Th\u00e9orie de la G\u00e9n\u00e9ralisabilit\u00e9<\/strong> (souvent abr\u00e9g\u00e9e sous le terme de Th\u00e9orie G<\/em>). Con\u00e7ue comme une extension lib\u00e9ratrice et une refonte probabiliste de la psychom\u00e9trie classique par le biais des mod\u00e8les d’analyse de variance, la Th\u00e9orie G propose de diss\u00e9quer, d’isoler et de quantifier pr\u00e9cis\u00e9ment chaque source de variabilit\u00e9 dans un devis exp\u00e9rimental. Cet article se propose d’explorer en profondeur l’architecture conceptuelle, les fondations math\u00e9matiques, les d\u00e9clinaisons op\u00e9rationnelles et les applications contemporaines de cette th\u00e9orie magistrale, qui demeure l’un des monuments les plus sophistiqu\u00e9s de la m\u00e9trologie cognitive et comportementale.<\/p>\n L’\u00e9mergence de la th\u00e9orie de la g\u00e9n\u00e9ralisabilit\u00e9 s’inscrit dans l’effervescence intellectuelle des ann\u00e9es 1960 et 1970 au sein de la psychom\u00e9trie am\u00e9ricaine. Durant cette p\u00e9riode, les exigences de rigueur m\u00e9thodologique impos\u00e9es par l’\u00e9valuation des programmes \u00e9ducatifs f\u00e9d\u00e9raux, l’essor des tests d’aptitude \u00e0 large \u00e9chelle et la complexification des \u00e9preuves de s\u00e9lection militaire et universitaire ont mis en lumi\u00e8re la fragilit\u00e9 des outils statistiques traditionnels. Lee Joseph Cronbach, alors professeur \u00e0 l’Universit\u00e9 Stanford et figure tut\u00e9laire de la psychologie diff\u00e9rentielle, constatait avec une lucidit\u00e9 critique que les praticiens se trouvaient d\u00e9munis lorsqu’ils devaient interpr\u00e9ter des \u00e9valuations issues de protocoles complexes o\u00f9 plusieurs facteurs d’instabilit\u00e9 interagissaient.<\/p>\n Le point d’orgue de cette maturation th\u00e9orique fut la publication en 1972 d’un ouvrage fondamental qui allait red\u00e9finir la discipline : The Dependability of Behavioral Measurements: Theory of Generalizability for Scores and Profiles<\/em>. Co\u00e9crit avec Goldine C. Gleser, Harinder N. Nanda et Nageswari Rajaratnam, ce trait\u00e9 monumental de plus de cinq cents pages posait les fondements math\u00e9matiques et philosophiques d’une approche multifactorielle de l’erreur de mesure. Cette \u0153uvre collective repr\u00e9sentait l’aboutissement de plus d’une d\u00e9cennie de recherches intensives men\u00e9es avec le soutien de l’Office of Naval Research et du United States Office of Education.<\/p>\n Cette publication marquait \u00e9galement une \u00e9volution spectaculaire de la pens\u00e9e de Cronbach lui-m\u00eame. Deux d\u00e9cennies plus t\u00f4t, en 1951, il avait immortalis\u00e9 son nom en introduisant le coefficient alpha, destin\u00e9 \u00e0 mesurer la coh\u00e9rence interne d’un test compos\u00e9 de plusieurs items. Pourtant, Cronbach en vint \u00e0 d\u00e9plorer l’usage f\u00e9tichiste et r\u00e9ductionniste que la communaut\u00e9 scientifique faisait de son coefficient. Il percevait l’alpha comme une r\u00e9ponse simpliste \u00e0 un probl\u00e8me \u00e9minemment multidimensionnel. La th\u00e9orie de la g\u00e9n\u00e9ralisabilit\u00e9 fut ainsi con\u00e7ue non pas comme une rupture hostile, mais comme le d\u00e9passement dialectique de ses propres travaux ant\u00e9rieurs, \u00e9tendant le principe de l’analyse de coh\u00e9rence \u00e0 l’ensemble des conditions qui circonscrivent l’administration d’un test.<\/p>\n Pour comprendre la n\u00e9cessit\u00e9 historique de la Th\u00e9orie G, il convient d’analyser les failles structurelles de la psychom\u00e9trie classique. Le p\u00e9ch\u00e9 originel de la Th\u00e9orie Classique des Tests r\u00e9sidait dans son postulat central postulant une erreur de mesure monolithique, indiff\u00e9renci\u00e9e et purement al\u00e9atoire. Dans le formalisme classique, l’erreur est trait\u00e9e comme un bruit de fond statistique homog\u00e8ne, sans \u00e9gard pour la pluralit\u00e9 des m\u00e9canismes causaux qui la g\u00e9n\u00e8rent. Or, sur le terrain de la pratique clinique ou scolaire, une fluctuation de note peut provenir de la fatigue d’un sujet, de la s\u00e9v\u00e9rit\u00e9 d’un correcteur, de l’ambigu\u00eft\u00e9 d’une consigne ou de la temp\u00e9rature de la salle d’examen.<\/p>\n Cette simplification excessive cr\u00e9ait des apories insolubles dans l’estimation de la fid\u00e9lit\u00e9. Le chercheur \u00e9tait contraint de d\u00e9couper artificiellement la r\u00e9alit\u00e9 m\u00e9thodologique en utilisant des indices disjoints : le coefficient de corr\u00e9lation test-retest pour mesurer la stabilit\u00e9 temporelle, le coefficient de formes parall\u00e8les pour sonder l’\u00e9quivalence du contenu, ou le coefficient de corr\u00e9lation inter-juges pour \u00e9valuer la concordance des \u00e9valuateurs. Chacun de ces indices fonctionnait en vase clos, occultant le fait que dans une situation r\u00e9elle, ces sources de variance n’agissent jamais de mani\u00e8re isol\u00e9e mais se combinent, s’amplifient ou se neutralisent mutuellement.<\/p>\n La cons\u00e9quence pratique de cette compartimentation \u00e9tait d\u00e9sastreuse : un instrument pouvait afficher un excellent coefficient de fid\u00e9lit\u00e9 test-retest tout en souffrant d’une sensibilit\u00e9 dramatique aux biais d’\u00e9valuateurs, ou inversement. Les praticiens \u00e9taient incapables de d\u00e9terminer la part relative de chaque source de bruit dans l’impr\u00e9cision finale du score. La psychom\u00e9trie se trouvait d\u00e8s lors dans l’obligation \u00e9pist\u00e9mologique de concevoir un mod\u00e8le statistique unifi\u00e9, capable d’int\u00e9grer simultan\u00e9ment plusieurs sources de fluctuation syst\u00e9matique et al\u00e9atoire au sein d’une matrice d’analyse int\u00e9gr\u00e9e.<\/p>\n L’objectif cardinal de la th\u00e9orie de la g\u00e9n\u00e9ralisabilit\u00e9 est d’op\u00e9rer un glissement conceptuel d\u00e9terminant : remplacer le terme restrictif et trompeur de \u00ab fid\u00e9lit\u00e9 \u00bb (reliability<\/em>) par celui de \u00ab confiance \u00bb ou de \u00ab concordance \u00bb (dependability<\/em>). L\u00e0 o\u00f9 la fid\u00e9lit\u00e9 sous-entendait une propri\u00e9t\u00e9 immuable et intrins\u00e8que \u00e0 l’instrument de mesure lui-m\u00eame, la d\u00e9pendabilit\u00e9 reconna\u00eet que la pr\u00e9cision d’une mesure n’a de sens que par rapport aux inf\u00e9rences sp\u00e9cifiques qu’un utilisateur souhaite tirer des scores obtenus dans un contexte op\u00e9ratoire rigoureusement d\u00e9limit\u00e9.<\/p>\n D’un point de vue \u00e9pist\u00e9mologique, la th\u00e9orie s’attache \u00e0 caract\u00e9riser de mani\u00e8re exhaustive ce que Cronbach a nomm\u00e9 l’\u00ab univers de g\u00e9n\u00e9ralisation \u00bb. Il ne s’agit plus de savoir si un test est fiable dans l’absolu, mais d’\u00e9tablir jusqu’\u00e0 quel point le score particulier observ\u00e9 sur un \u00e9chantillon restreint de t\u00e2ches, administr\u00e9 par un observateur donn\u00e9 \u00e0 un instant pr\u00e9cis, permet de g\u00e9n\u00e9raliser avec exactitude la performance du sujet \u00e0 l’ensemble concevable de toutes les t\u00e2ches similaires, \u00e9valu\u00e9es par tous les observateurs comp\u00e9tents possibles, \u00e0 n’importe quel moment favorable.<\/p>\n Cette approche l\u00e9gitime pleinement la flexibilit\u00e9 contextuelle dans la mesure en sciences comportementales. La th\u00e9orie de la g\u00e9n\u00e9ralisabilit\u00e9 reconna\u00eet que la r\u00e9alit\u00e9 empirique est plastique et h\u00e9t\u00e9rog\u00e8ne. Plut\u00f4t que de contraindre la r\u00e9alit\u00e9 dans le carcan rigide d’un protocole standardis\u00e9 artificiel, elle offre aux m\u00e9thodologistes une boussole probabiliste permettant d’estimer les compromis optimaux entre le co\u00fbt logistique d’une \u00e9valuation et la pr\u00e9cision requise pour prendre des d\u00e9cisions \u00e9thiquement et scientifiquement fond\u00e9es concernant des \u00eatres humains.<\/p>\n La rupture inaugur\u00e9e par la Th\u00e9orie G prend racine dans la d\u00e9construction critique de l’\u00e9quation fondamentale de la Th\u00e9orie Classique des Tests, formalis\u00e9e par Spearman : $X = T + E$<\/span>, o\u00f9 le score observ\u00e9 ($X$<\/span>) est la r\u00e9sultante lin\u00e9aire de l’addition d’un score vrai invariable ($T$<\/span>, pour true score<\/em>) et d’une composante d’erreur al\u00e9atoire r\u00e9siduelle ($E$<\/span>). Bien que s\u00e9duisante par sa parcimonie, cette formulation repose sur une pr\u00e9misse ontologique discutable : l’existence d’un \u00ab score vrai \u00bb platonicien, entit\u00e9 absolue, unique et intangible qui habiterait l’individu ind\u00e9pendamment des conditions concr\u00e8tes par lesquelles ce score est sollicit\u00e9 et enregistr\u00e9.<\/p>\n Cronbach substitue \u00e0 ce postulat abstrait le concept \u00e9minemment pragmatique et relativiste de \u00ab score d’univers \u00bb (universe score<\/em>). Le score d’univers n’est rien d’autre que l’esp\u00e9rance math\u00e9matique des scores observ\u00e9s d’un individu lorsqu’on fait la moyenne de ses performances \u00e0 travers toutes les conditions admissibles d’\u00e9valuation. Crucialement, ce score d’univers cesse d’\u00eatre monolithique : il est explicitement conditionn\u00e9 par les fronti\u00e8res de l’univers de mesure que le chercheur a d\u00e9lib\u00e9r\u00e9ment choisi de consid\u00e9rer. Si l’on modifie la d\u00e9finition des t\u00e2ches acceptables ou le profil des \u00e9valuateurs retenus, le score d’univers change corr\u00e9lativement de nature et de valeur attendue.<\/p>\n Parall\u00e8lement, l’erreur unique et aveugle ($E$<\/span>) se trouve d\u00e9construite en un ensemble de composantes multifactorielles identifiables. La Th\u00e9orie G postule que ce que la TCT qualifiait indistinctement d’erreur se subdivise en effets syst\u00e9matiques li\u00e9s aux caract\u00e9ristiques structurelles des outils d’\u00e9valuation, en effets d’interaction entre les personnes et les situations d’examen, et en une part r\u00e9siduelle v\u00e9ritablement stochastique. L’erreur de mesure n’est donc plus un voile uniforme qui dissimule la v\u00e9rit\u00e9 du sujet, mais une structure de variance hautement informative sur la dynamique m\u00eame du comportement mesur\u00e9.<\/p>\n Dans le paradigme classique, la fid\u00e9lit\u00e9 est presque invariablement quantifi\u00e9e par un indice scalaire unique compris entre 0 et 1, assimilable au rapport entre la variance du score vrai et la variance totale observ\u00e9e. Cette tradition a conduit des g\u00e9n\u00e9rations de chercheurs \u00e0 proclamer p\u00e9remptoirement qu’un test \u00ab poss\u00e8de \u00bb une fid\u00e9lit\u00e9 de 0,85 ou de 0,90, comme s’il s’agissait d’une constante physique \u00e0 l’instar du point d’\u00e9bullition de l’eau. La Th\u00e9orie G d\u00e9montre l’inanit\u00e9 d’une telle assertion : un test ne poss\u00e8de pas de fid\u00e9lit\u00e9 propre, il n’engendre qu’un niveau de g\u00e9n\u00e9ralisabilit\u00e9 conditionn\u00e9 par un plan d’\u00e9chantillonnage sp\u00e9cifique et par la nature des d\u00e9cisions auxquelles le score est destin\u00e9.<\/p>\n \u00c0 cet \u00e9gard, Cronbach et ses coll\u00e8gues ont introduit une diff\u00e9renciation structurelle essentielle, largement ignor\u00e9e par la TCT, entre la pr\u00e9cision relative<\/strong> et la pr\u00e9cision absolue<\/strong>. Si l’objectif d’une \u00e9valuation est de classer des individus les uns par rapport aux autres (s\u00e9lection d’entr\u00e9e \u00e0 un concours, ordonnancement normatif), les variations syst\u00e9matiques qui affectent tous les individus de la m\u00eame mani\u00e8re \u2014 par exemple un correcteur uniform\u00e9ment s\u00e9v\u00e8re pour l’ensemble de la cohorte \u2014 ne modifient en rien le classement et ne constituent pas une erreur de mesure relative. En revanche, si l’\u00e9valuation vise \u00e0 certifier qu’un individu ma\u00eetrise un seuil critique de comp\u00e9tences (d\u00e9cision crit\u00e9ri\u00e9e ou absolue), la s\u00e9v\u00e9rit\u00e9 globale de l’\u00e9valuateur constitue une source majeure d’injustice et d’erreur absolue qui doit \u00eatre formellement p\u00e9nalis\u00e9e dans le calcul de la m\u00e9trique.<\/p>\n Cette distinction met en pi\u00e8ces l’usage indiscrimin\u00e9 du coefficient alpha de Cronbach. Con\u00e7u strictement sous l’hypoth\u00e8se d’items \u00e9quivalents dans une perspective relative, l’alpha est totalement aveugle aux d\u00e9rives syst\u00e9matiques de notation ou aux effets temporels. La Th\u00e9orie G \u00e9mancipe le psychom\u00e9tricien de ce pi\u00e8ge conceptuel en substituant au chiffre unique une grille d’analyse continue et adaptative, permettant de mod\u00e9liser la fid\u00e9lit\u00e9 en fonction pr\u00e9cise des contingences op\u00e9rationnelles et des finalit\u00e9s d\u00e9cisionnelles de l’institution qui \u00e9value.<\/p>\n1. Introduction et fondements historiques de la th\u00e9orie de la g\u00e9n\u00e9ralisabilit\u00e9<\/h2>\n
1.1 Origines de la th\u00e9orie et trajectoire intellectuelle de Lee Cronbach<\/h3>\n
1.2 Les limites intrins\u00e8ques des paradigmes psychom\u00e9triques traditionnels<\/h3>\n
1.3 Objectifs fondamentaux et vis\u00e9e \u00e9pist\u00e9mologique de la th\u00e9orie<\/h3>\n
2. Rupture \u00e9pist\u00e9mologique avec la Th\u00e9orie Classique des Tests (TCT)<\/h2>\n
2.1 D\u00e9passer le postulat du score vrai invariable<\/h3>\n
2.2 La remise en question du coefficient de fid\u00e9lit\u00e9 unique<\/h3>\n
2.3 Comparaison structurelle : TCT, Th\u00e9orie de la R\u00e9ponse aux Items (TRI) et Th\u00e9orie G<\/h3>\n