Inventaire de l’équité de l’évaluation en classe (CAFI)

1. Résumé / Abstract

L’Inventaire de l’équité de l’évaluation en classe (Classroom Assessment Fairness Inventory [CAFI]), conçu et validé par Amirhossein Rasooli, Christopher DeLuca, Liying Cheng et Amin Mousavi (2023), constitue un instrument psychométrique novateur dédié à la mesure empirique des perceptions de la justice et de l’équité des pratiques évaluatives chez les apprenants de l’enseignement supérieur et secondaire. L’évaluation en milieu scolaire et universitaire transcende la simple fonction sommative de vérification des acquis ; elle s’inscrit au cœur des dynamiques relationnelles, motivationnelles et émotionnelles de l’étudiant. Bien que la littérature théorique souligne depuis plusieurs décennies l’importance de la justice organisationnelle appliquée au contexte éducatif, rares étaient les instruments permettant de saisir ces perceptions au moyen de mises en situation écologiques et contextualisées.

Le CAFI se structure autour de scénarios pédagogiques authentiques couvrant cinq domaines critiques de l’évaluation en classe : le travail de groupe (groupwork), les examens standardisés ou sommatifs (exams), les manquements à l’intégrité académique et la tricherie (cheating), l’attribution des notes (grading) et les pratiques de rétroaction pédagogique (feedback). Initialement composé de 40 actions réparties au sein de ces cinq vignettes, le modèle final validé repose sur un ensemble raffiné d’items évaluant des principes fondamentaux issus de la psychologie sociale et de la théorie de la justice (notamment l’égalité, l’équité distributive, le besoin, la voix, la transparence, la suppression des biais et le respect interpersonnel). La réponse s’effectue sur une échelle de type Likert en 6 points graduée de 1 (« Très injuste » / Highly unfair) à 6 (« Très juste » / Highly fair), bonifiée d’une option d’incertitude codée 7 (« Je ne suis pas sûr » / I am not sure).

Les propriétés psychométriques établies auprès d’une cohorte d’étudiants de premier cycle universitaire au Canada démontrent une structure factorielle robuste confirmée par des analyses factorielles exploratoires (AFE) et confirmatoires (AFC). Le modèle retenu met en évidence cinq facteurs prépondérants : l’injustice dans le travail de groupe (Unfairness in Groupwork), la justice face à la tricherie (Fairness in Cheating), la justice de la notation (Fairness in Grading), l’injustice de la rétroaction (Unfairness in Feedback) et la justice de la rétroaction (Fairness in Feedback). Les indices d’ajustement structurel s’avèrent satisfaisants (RMSEA = 0,06 [IC à 90 % : 0,05–0,07], CFI = 0,91, TLI = 0,89), accompagnés d’une consistance interne solide avec des coefficients alpha de Cronbach oscillant entre 0,79 et 0,87 selon les sous-échelles. La validité de construit est étayée par des analyses de régression multivariée corrélant significativement les scores du CAFI à la croyance en un monde juste (Personal Belief in a Just World), affirmant ainsi l’utilité clinique, diagnostique et scientifique de l’instrument.

2. Mots-clés / Keywords

Équité de l’évaluation en classe, Perceptions des étudiants, Justice organisationnelle, Évaluation des apprentissages, Travail de groupe, Tricherie académique, Attribution des notes, Rétroaction formative, Propriétés psychométriques, Validité de construit, Relation enseignant-étudiant, Mesure en éducation.

3. Auteurs / Authors

L’instrument a été élaboré et standardisé par une équipe de chercheurs spécialisés en psychométrie et en docimologie éducative :

• Amirhossein Rasooli : Chercheur postdoctoral Killam (Killam Postdoctoral Fellow), Faculté d’éducation, Université de l’Alberta (University of Alberta), Edmonton, Alberta, Canada. Adresse de correspondance : Faculty of Education, 11210 87 Ave NW, Edmonton, Alberta, Canada, T6G 2G5. Courriel institutionnel : [email protected].
• Christopher DeLuca : Professeur titulaire en mesure et évaluation, Faculté d’éducation, Queen’s University, Kingston, Ontario, Canada.
• Liying Cheng : Professeure émérite en évaluation des langues et docimologie, Faculté d’éducation, Queen’s University, Kingston, Ontario, Canada. Identifiant ORCID : 0000-0002-4458-5085.
• Amin Mousavi : Professeur agrégé en psychométrie et statistiques appliquées, Faculté d’éducation, Université de la Saskatchewan (University of Saskatchewan), Saskatoon, Saskatchewan, Canada. Identifiant ORCID : 0000-0002-6920-2319.

4. Objectif / Purpose

L’objectif fondamental du Classroom Assessment Fairness Inventory (CAFI) est de fournir une évaluation diagnostique, standardisée et empiriquement fondée de la façon dont les apprenants interprètent, évaluent et hiérarchisent l’équité des conduites évaluatives professorales dans les environnements d’apprentissage formels. Historiquement, l’évaluation a souvent été appréhendée sous un angle purement technique ou psychométrique axé sur la validité de contenu, la standardisation des barèmes et la fidélité inter-correcteurs. Or, l’évaluation pédagogique quotidienne constitue fondamentalement un acte social et relationnel imprégné de rapports de pouvoir, d’attentes éthiques et d’implications émotionnelles majeures pour les étudiants.

Justification théorique et sociale

Lorsque les apprenants perçoivent les pratiques d’évaluation d’un enseignant comme arbitraires, partiales ou opaques, les conséquences psychologiques et académiques sont sévères : démobilisation cognitive, sentiment d’impuissance acquise, aliénation scolaire, dégradation de l’alliance pédagogique et propension accrue à recourir à la fraude académique. À l’inverse, l’adhésion aux règles d’évaluation et la conviction que le système de notation est juste catalysent la motivation intrinsèque, favorisent la résilience académique et maximisent l’impact autorégulateur de la rétroaction formative. Le CAFI a été conçu pour combler un vide méthodologique criant : l’absence d’outils mesurant ces construits non pas à travers des énoncés abstraits et décontextualisés (ex. « Mon professeur est juste »), mais au moyen d’actions concrètes, contextualisées dans des scénarios réalistes représentatifs de la vie de classe.

Applications en recherche et en pratique éducative

Les applications du CAFI se déploient sur plusieurs axes complémentaires :

• Recherche fondamentale en psychologie de l’éducation : Étude des modérateurs et médiateurs psychologiques reliant la justice perçue au rendement scolaire, à la satisfaction universitaire, à l’anxiété liée aux examens et au bien-être psychologique global.
• Développement professionnel des enseignants : Utilisation du CAFI comme cadre réflexif dans les programmes de formation initiale et continue des professeurs de l’enseignement supérieur et secondaire. L’inventaire permet de confronter les intentions pédagogiques des enseignants aux représentations de justice des étudiants.
• Audit institutionnel et assurance qualité : Évaluation du climat d’équité évaluative au sein de facultés ou de programmes universitaires, facilitant la mise à jour des politiques de notation, des chartes de travail d’équipe et des protocoles de traitement des litiges académiques.
• Recherche comparée et transculturelle : Exploration des divergences de perception de l’équité selon l’origine culturelle, le genre, ou le statut d’étudiant international ou de première génération.

5. Construit psychologique / Construct

Le CAFI opérationnalise le construit de la « justice de l’évaluation en classe » à travers une structure multidimensionnelle issue de l’analyse factorielle, articulant cinq dimensions fondamentales. Chaque dimension reflète une valence spécifique (perception de justice ou d’injustice) ancrée dans un domaine d’évaluation précis :

1. Injustice dans le travail de groupe (Unfairness in Groupwork)

Cette sous-échelle évalue la sensibilité des étudiants aux pratiques pédagogiques qui ignorent l’hétérogénéité des contributions individuelles dans les projets collaboratifs. Les situations typiques incluent l’attribution d’une note de groupe unique et identique pour tous les membres indépendamment des efforts fournis, la composition forcée d’équipes hétérogènes sans consultation des apprenants, et le refus de l’enseignant d’arbitrer les conflits ou de justifier les notes contestées. Sur le plan psychologique, cette dimension mesure la frustration générée par le phénomène de parasitisme social (social loafing) et la violation perçue du principe d’équité distributive.

2. Justice face à la tricherie (Fairness in Cheating)

Cette dimension quantifie l’approbation morale et procédurale des sanctions imposées en réponse aux infractions à l’intégrité académique. L’échelle explore la manière dont les étudiants jugent la sévérité des mesures disciplinaires (comme l’attribution d’une note zéro ou l’expulsion immédiate d’une salle d’examen). Les items analysent si l’intervention de l’enseignant est perçue comme une défense équitable des efforts de l’ensemble des étudiants intègres ou comme un acte rétributif disproportionné, tout en vérifiant l’application de principes éthiques fondamentaux et la transparence des règlements en début de session.

3. Justice de la notation (Fairness in Grading)

La dimension de justice de la notation capture les perceptions relatives à l’exactitude, la clarté et l’impartialité des critères d’évaluation sommative. Elle examine le respect des principes d’égalité et de suppression des biais par l’enseignant, notamment la transparence du barème (ex. poids respectif des examens et des travaux), la célérité de la communication des résultats, l’ouverture aux demandes de révision de notes, et l’absence d’arbitraire consistant à pénaliser les notes académiques sur la base de comportements indisciplinés non liés aux objectifs d’apprentissage visés.

4. Injustice de la rétroaction (Unfairness in Feedback)

Cette sous-échelle isole les pratiques de commentaires correctifs jugées préjudiciables ou inéquitables. Elle capture notamment le favoritisme perçu (ex. fournir des rétroactions plus riches et attentionnées à ses étudiants favoris ou aux élèves déjà performants au détriment des élèves en difficulté), le manque de respect ou l’agressivité dans le ton des commentaires, et le refus d’offrir un soutien différencié adapté aux besoins des apprenants les plus vulnérables.

5. Justice de la rétroaction (Fairness in Feedback)

Complémentaire de la précédente, cette dimension valorise les comportements de rétroaction axés sur la transparence formative, l’accessibilité de l’enseignant et la ponctualité des retours. Elle évalue l’utilisation de grilles critériées claires (rubrics), la promptitude de la remise des copies annotées, et l’octroi d’une voix procédurale aux étudiants leur permettant d’engager un dialogue constructif avec l’enseignant pour comprendre et négocier le sens des commentaires reçus.

6. Cadre théorique / Theoretical Framework

Le CAFI s’ancre à la croisée de la théorie de la justice organisationnelle (fondée initialement par John Stacey Adams, Jerald Greenberg et Robert Folger) et des modèles sociocognitifs de la psychologie de l’éducation développés par des auteurs contemporains comme James McMillan et Tierney.

Les quatre piliers classiques de la justice

Traditionnellement, la psychologie sociale modélise la justice selon quatre axes distincts mais interdépendants :

• Justice distributive : Axée sur la répartition des résultats (les notes, les récompenses, les sanctions). Elle repose sur trois règles décisionnelles : le principe de mérite/équité (recevoir en proportion de son apport), le principe d’égalité (chacun reçoit la même note ou la même opportunité), et le principe de besoin (aménagements pour les étudiants en difficulté ou en situation de handicap).
• Justice procédurale : Fondée sur les travaux de Leventhal (1980), elle stipule que les processus menant à la décision doivent être cohérents, exempts de biais, fondés sur des informations exactes, corrigibles (droit de faire appel) et éthiques. Elle accorde également une importance centrale au concept de « voix » (voice), formalisé par Thibaut et Walker (1975), désignant la capacité de l’individu à exprimer son point de vue avant qu’une décision ne devienne irrévocable.
• Justice interactionnelle : Divisée ultérieurement par Bies et Moag (1986) en justice interpersonnelle (traiter les apprenants avec politesse, dignité et respect) et en justice informationnelle (justifier rigoureusement les décisions, expliquer les barèmes et communiquer avec transparence et ponctualité).

Transposition à l’évaluation en classe par Rasooli et collègues

Rasooli, DeLuca, Cheng et Mousavi (2023) ont enrichi ce corpus classique en identifiant dix principes sous-jacents de justice spécifiquement opérationnalisés dans les actions évaluatives quotidiennes :

1. Égalité (Equality) : Application universelle de barèmes identiques sans distinction arbitraire.
2. Équité (Equity) : Alignement direct de la note sur l’effort consenti et les accomplissements réels.
3. Besoin (Need) : Octroi d’aménagements raisonnables et de rétroactions enrichies aux élèves à besoins spécifiques.
4. Transparence (Transparency) : Clarification préalable des attentes, barèmes et politiques académiques.
5. Voix (Voice) : Faculté pour l’étudiant de dialoguer, de questionner et de contester de manière légitime.
6. Justification (Justification) : Obligation docimologique de motiver les appréciations par des critères tangibles.
7. Suppression des biais (Bias Suppression) : Neutralisation absolue des préjugés personnels et refus de moduler la note académique pour des sanctions d’ordre comportemental.
8. Respect (Respect) : Climat d’interaction pédagogique préservant l’intégrité et la dignité de l’apprenant.
9. Célérité (Timeliness) : Restitution des résultats et rétroactions dans un intervalle temporel optimal pour l’apprentissage.
10. Corrigibilité (Correctability) : Existence de voies d’appel et rectification ouverte des erreurs d’évaluation.

7. Validité / Validity

La démonstration de la validité du CAFI a fait l’objet d’un protocole méthodologique rigoureux, combinant validité de contenu, analyses multivariées de validité nomologique et modélisation de validité prédictive.

Validité de construit et régression multivariée

L’hypothèse centrale formulée par les auteurs reposait sur la convergence théorique entre les perceptions de justice évaluative et la théorie de la croyance en un monde juste (Personal Belief in a Just World – PBJW) postulée par Melvin Lerner et opérationnalisée par Dalbert. Les individus adhérant fortement à la conviction que le monde récompense intrinsèquement les efforts légitimes et sanctionne les comportements répréhensibles devraient logiquement projeter cette grille de lecture sur les interactions académiques.

Les régressions multivariées ont corroboré cette hypothèse avec une clarté empirique remarquable :

• La croyance personnelle en un monde juste prédit positivement et significativement la perception de justice de la notation (β = 0,262 ; p < 0,05). Les étudiants voyant le monde comme fondamentalement équitable interprètent plus volontiers les politiques de notation professorales comme méritoires et objectives.
• La PBJW prédit également de manière positive et robuste la justice de la rétroaction (β = 0,294 ; p < 0,05).
• À l’inverse, la croyance en un monde juste prédit négativement et significativement la perception d’injustice de la rétroaction (β = −0,190 ; p < 0,05), attestant d’une excellente validité divergente et directionnelle.

Validité de contenu

Les vignettes et les 40 actions initiales ont été minutieusement élaborées à partir d’une synthèse exhaustive de la littérature en docimologie et en psychologie sociale. Chaque action a été cartographiée en fonction de son principe sous-jacent (équité, besoin, voix, etc.) et soumise à un examen d’experts du domaine afin de garantir la pertinence contextuelle, la clarté linguistique et la fidélité écologique des situations exposées.

8. Fidélité / Reliability

L’évaluation des qualités métrologiques du CAFI atteste d’une grande stabilité des scores et d’une remarquable consistance interne au sein des différentes dimensions factorielles.

Consistance interne

L’homogénéité interne des sous-échelles a été déterminée au moyen du coefficient alpha de Cronbach (α). Les analyses révèlent des valeurs hautement satisfaisantes, toutes situées au-delà des seuils conventionnels recommandés pour la recherche en psychométrie (généralement fixés à 0,70) :

• Les coefficients alpha pour l’ensemble des facteurs identifiés s’échelonnent entre 0,79 et 0,87.
• Ces valeurs confirment que chaque sous-échelle capture un domaine conceptuel unifié, exempt de variance parasite substantielle, garantissant une mesure précise des différentes facettes de l’équité perçue.

Fidélité inter-juges

Dans la phase de validation de la classification des items et de l’alignement théorique des actions avec les principes de justice organisationnelle, le degré de concordance entre experts a été quantifié. L’accord global inter-juges a mis en évidence une valeur moyenne modérée et statistiquement très significative de 0,56 (p < 0,001), attestant d’une convergence méthodologique solide lors du codage qualitatif initial des comportements évaluatifs.

9. Analyse factorielle / Factor Analysis

La structure dimensionnelle du CAFI a fait l’objet d’une démarche psychométrique séquentielle exhaustive combinant l’analyse factorielle exploratoire (AFE) et l’analyse factorielle confirmatoire (AFC).

Analyse factorielle exploratoire (AFE)

L’AFE initiale a permis de sonder l’espace latent des 40 actions réparties dans les cinq scénarios originaux. Si une modélisation théorique purement orientée vers les scénarios pouvait suggérer l’émergence d’autant de facteurs que de contextes d’évaluation, les analyses factorielles ont mis en lumière une valence différenciée (justice versus injustice) selon les thématiques, menant à la comparaison de modèles concurrents à cinq et six facteurs.

Analyse factorielle confirmatoire (AFC) et sélection du modèle

Deux structures concurrentes ont été testées de manière rigoureuse par modélisation par équations structurelles :

• Modèle à 6 facteurs : Ce modèle présentait des indices statistiques acceptables au plan formel (RMSEA = 0,07 [IC à 90 % : 0,06–0,08], CFI = 0,90, TLI = 0,87). Cependant, l’examen substantiel a révélé que le sixième facteur n’était saturé que par deux items spécifiques du Scénario 2 (S2-6 et S2-7). En psychométrie standard, un facteur constitué de seulement deux items présente une fragilité conceptuelle et empirique majeure (« facteur sous-identifié »), incapable de représenter fidèlement le domaine complexe des examens.
• Modèle à 5 facteurs (Modèle retenu) : Le modèle à cinq facteurs a démontré un ajustement supérieur aux données empiriques, satisfaisant aux critères d’ajustement reconnus :
  • RMSEA (Root Mean Square Error of Approximation) = 0,06 (intervalle de confiance à 90 % : [0,05 ; 0,07]), indiquant une très faible erreur d’approximation par degré de liberté.
  • CFI (Comparative Fit Index) = 0,91, dépassant le seuil acceptable de 0,90.
  • TLI (Tucker-Lewis Index) = 0,89, frôlant la borne optimale de 0,90.

Le modèle final purifié sélectionne 21 items d’action centraux répartis de manière robuste sur les cinq dimensions précitées, fournissant un compromis idéal entre parcimonie psychométrique et couverture conceptuelle des contextes évaluatifs.

10. Instrument de mesure / Instrument

• Type d’instrument : Questionnaire psychométrique autorapporté basé sur des vignettes situationnelles (scenario-based inventory).
• Format d’administration : Papier-crayon ou passation informatisée (en ligne). L’apprenant lit successivement des scénarios décrivant des interactions d’évaluation réalistes, puis évalue la justice de chaque action professorale consécutive.
• Nombre de scénarios et d’items : Le corpus initial complet comprend 5 scénarios totalisant 40 actions pédagogiques. La forme factorielle validée se compose d’un modèle d’évaluation de 21 items d’actions clés.
• Échelle de réponse : Échelle ordinale de type Likert en 6 points :
  • 1 = Hautement injuste (Highly unfair)
  • 2 = Injuste (Unfair)
  • 3 = Légèrement injuste (Slightly unfair)
  • 4 = Légèrement juste (Slightly fair)
  • 5 = Juste (Fair)
  • 6 = Hautement juste (Highly fair)
  • 7 = Option additionnelle : « Je ne suis pas sûr » (I am not sure), codée séparément pour isoler l’ambiguïté normative.
• Populations cibles : Initialement validé auprès d’étudiants universitaires de premier cycle (âgés de 15 à 21 ans et plus) au Canada. Également adaptable aux élèves du secondaire (13-17 ans) et aux apprenants adultes en formation continue.
• Langue d’origine : Anglais.
• Cotation et calcul des scores : Les scores moyens ou factoriels sont calculés pour chacune des 5 sous-échelles validées. L’inversion des items n’est pas requise de manière indifférenciée car les facteurs séparent structurellement les dimensions de justice (scores élevés = approbation forte de l’action) des dimensions d’injustice perçue (scores élevés = sensibilité accrue aux dysfonctionnements évaluatifs).

11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year

• Année de publication princeps : 2023.
• Statut commercial : Instrument non commercial (accès gratuit à des fins de recherche académique et d’amélioration pédagogique).
• Frais d’utilisation : Aucun frais de licence n’est requis pour une utilisation non commerciale en milieu éducatif ou de recherche.
• Permissions et droits d’auteur : L’instrument est protégé par le droit d’auteur de l’éditeur (Taylor & Francis) et des auteurs de l’étude princeps. Pour toute utilisation dans un cadre commercial, une adaptation à grande échelle ou une publication intégrale d’instruments traduits, il convient de contacter l’auteur correspondant ([email protected]) ou d’obtenir les autorisations requises via le portail de l’éditeur de la revue Assessment in Education: Principles, Policy & Practice.

12. Références / References

• Adams, J. S. (1965). Inequity in social exchange. In L. Berkowitz (Ed.), Advances in Experimental Social Psychology (Vol. 2, pp. 267–299). Academic Press. https://doi.org/10.1016/S0065-2601(08)60108-2
• Bies, R. J., & Moag, J. S. (1986). Interactional justice: Communication criteria of fairness. In R. J. Lewicki, B. H. Sheppard, & M. H. Bazerman (Eds.), Research on Negotiation in Organizations (Vol. 1, pp. 43–55). JAI Press.
• Colquitt, J. A. (2001). On the dimensionality of organizational justice: A construct validation of a measure. Journal of Applied Psychology, 86(3), 386–400. https://doi.org/10.1037/0021-9010.86.3.386
• Dalbert, C. (1999). The world is more just for me than generally: About the personal belief in a just world scale’s validity. Social Justice Research, 12(2), 79–98. https://doi.org/10.1023/A:1022091609047
• Leventhal, G. S. (1980). What should be done with equity theory? In K. J. Gergen, M. S. Greenberg, & R. H. Willis (Eds.), Social Exchange: Advances in Theory and Research (pp. 27–55). Plenum Press. https://doi.org/10.1007/978-1-4613-3087-5_2
• Rasooli, A., DeLuca, C., Cheng, L., & Mousavi, A. (2023). Classroom assessment fairness inventory: A new instrument to support perceived fairness in classroom assessment. Assessment in Education: Principles, Policy & Practice, 30(5-6), 372–395. https://doi.org/10.1080/0969594X.2023.2255936
• Thibaut, J., & Walker, L. (1975). Procedural justice: A psychological analysis. L. Erlbaum Associates.

13. Questions et items du questionnaire (Scale Items)