Le Questionnaire de M\u00fcnster pour l’\u00e9valuation des examens<\/strong> (en allemand : M\u00fcnster Fragebogen zur Evaluation von Klausuren<\/em>, abr\u00e9g\u00e9 sous l’acronyme MFE-K<\/strong>) repr\u00e9sente un instrument psychom\u00e9trique d\u00e9velopp\u00e9 sp\u00e9cifiquement pour \u00e9valuer la qualit\u00e9 didactique, l’organisationnelle et la charge per\u00e7ue lors des examens \u00e9crits sommatifs dans l’enseignement sup\u00e9rieur. Con\u00e7u initialement au sein du d\u00e9partement de psychologie de la Westf\u00e4lische Wilhelms-Universit\u00e4t M\u00fcnster<\/a> (WWU M\u00fcnster) par Benjamin Froncek et Meinald T. Thielsch, cet outil constitue un module compl\u00e9mentaire sp\u00e9cialis\u00e9 venant s’int\u00e9grer au dispositif plus large d’\u00e9valuation des enseignements universitaires (M\u00fcnster Questionnaire for Evaluation<\/em>). Alors que les protocoles conventionnels d’\u00e9valuation institutionnelle se concentrent traditionnellement sur les comp\u00e9tences p\u00e9dagogiques de l’enseignant et la structure globale des cours magistraux ou des s\u00e9minaires, le MFE-K comble une lacune m\u00e9thodologique majeure en se focalisant sur le moment critique de l’\u00e9valuation sommative \u00e9crite (\u00ab Klausur \u00bb).<\/p>\n Dans sa structure psychom\u00e9trique factoris\u00e9e, le MFE-K s’articule autour de 11 items centraux composant trois sous-\u00e9chelles valid\u00e9es : la Charge des \u00e9tudiants<\/strong> (Belastung der Studierenden<\/em>, 3 items), la Transparence<\/strong> (Transparence<\/em>, 4 items) et la Conception de l’examen<\/strong> (Klausurgestaltung<\/em>, 4 items). L’instrument comprend \u00e9galement une s\u00e9rie d’items contextuels compl\u00e9mentaires (faisant passer la batterie compl\u00e8te \u00e0 27 items), incluant des variables d\u00e9mographiques, des mesures relatives aux ressources informationnelles, au temps d’\u00e9tude investi, aux difficult\u00e9s rencontr\u00e9es durant la phase de pr\u00e9paration ainsi qu’\u00e0 la perception globale des conditions mat\u00e9rielles de passation. L’\u00e9chelle de r\u00e9ponse principale repose sur un format de type Likert en 7 points, s’\u00e9tendant de 1 (\u00ab pas du tout d’accord \u00bb \/ stimme gar nicht zu<\/em>) \u00e0 7 (\u00ab tout \u00e0 fait d’accord \u00bb \/ stimme vollkommen zu<\/em>), compl\u00e9t\u00e9 par des questions dichotomiques (\u00ab Oui\/Non \u00bb) et des champs ouverts qualitatifs.<\/p>\n Les propri\u00e9t\u00e9s psychom\u00e9triques de l’instrument t\u00e9moignent d’une excellente rigueur m\u00e9thodologique. L’analyse factorielle confirmatoire (AFC) valide le mod\u00e8le tridimensionnel corr\u00e9l\u00e9 (χ² = 107,83, df<\/em> = 41 ; TLI = 0,96 ; CFI = 0,97 ; RMSEA = 0,06). La coh\u00e9rence interne est satisfaisante \u00e0 bonne selon l’alpha de Cronbach<\/a>, oscillant entre 0,76 et 0,84 selon les sous-\u00e9chelles (0,79 pour la Charge des \u00e9tudiants ; 0,84 pour la Transparence ; 0,76 pour la Conception de l’examen). La sensibilit\u00e9 de l’outil a \u00e9t\u00e9 formellement \u00e9tablie par des analyses multivari\u00e9es d\u00e9montrant sa capacit\u00e9 \u00e0 discriminer de mani\u00e8re statistiquement significative la qualit\u00e9 des diff\u00e9rentes \u00e9preuves universitaires (η² = 0,22). Le MFE-K constitue ainsi un standard d’assurance qualit\u00e9 institutionnelle particuli\u00e8rement adapt\u00e9 aux exigences contemporaines de la p\u00e9dagogie universitaire cons\u00e9cutives aux r\u00e9formes du processus de Bologne.<\/p>\n \u00c9valuation de l’enseignement sup\u00e9rieur, assurance qualit\u00e9 universitaire, docimologie, \u00e9valuation des examens, psychom\u00e9trie, MFE-K, charge cognitive \u00e9tudiante, transparence p\u00e9dagogique, conception d’\u00e9preuves, processus de Bologne, validit\u00e9 factorielle, fid\u00e9lit\u00e9 psychom\u00e9trique.<\/p>\n Le d\u00e9veloppement, la mod\u00e9lisation factorielle et la validation psychom\u00e9trique du MFE-K sont issus des travaux de recherche men\u00e9s par deux sp\u00e9cialistes allemands de l’\u00e9valuation didactique et de la psychologie diff\u00e9rentielle et organisationnelle :<\/p>\n Le Questionnaire de M\u00fcnster pour l’\u00e9valuation des examens (MFE-K)<\/strong> a \u00e9t\u00e9 \u00e9labor\u00e9 pour r\u00e9pondre \u00e0 un besoin critique d’instrumentation standardis\u00e9e dans l’\u00e9valuation de la qualit\u00e9 de l’enseignement sup\u00e9rieur. Historiquement, l’\u00e9valuation de l’enseignement par les \u00e9tudiants (g\u00e9n\u00e9ralement d\u00e9sign\u00e9e sous l’acronyme anglo-saxon SET<\/em> pour Student Evaluation of Teaching<\/em>) a concentr\u00e9 ses efforts m\u00e9thodologiques sur le d\u00e9roulement p\u00e9dagogique des cours : clart\u00e9 de l’\u00e9locution de l’enseignant, structuration des supports visuels, climat d’apprentissage et interactions au sein de l’amphith\u00e9\u00e2tre. Paradoxalement, l’acte docimologique lui-m\u00eame \u2014 \u00e0 savoir l’examen \u00e9crit de fin de semestre, qui d\u00e9termine la validation acad\u00e9mique, l’attribution des cr\u00e9dits ECTS et la s\u00e9lection des trajectoires \u00e9tudiantes \u2014 est longtemps demeur\u00e9 un angle mort des protocoles d’assurance qualit\u00e9.<\/p>\n Cette omission m\u00e9thodologique est devenue particuli\u00e8rement critique \u00e0 la suite du processus de Bologne<\/a> en Europe. Le passage des anciens dipl\u00f4mes (comme le Diplom<\/em> ou le Magister<\/em> en Allemagne, ou les ma\u00eetrises traditionnelles en France) aux cursus standardis\u00e9s de Licence\/Bachelor et Master a entra\u00een\u00e9 une modularisation intensive des \u00e9tudes. Cette restructuration s’est traduite par ce que Dany, Szczyrba et Wildt (2008) ont qualifi\u00e9 d’\u00ab explosion quantitative \u00bb des examens universitaires. Au lieu de subir quelques examens terminaux r\u00e9capitulatifs en fin de cycle, les \u00e9tudiants sont d\u00e9sormais confront\u00e9s \u00e0 une succession continue d’examens sommatifs \u00e0 chaque session semestrielle. La Conf\u00e9rence permanente des ministres de l’\u00c9ducation des L\u00e4nder (Kultusministerkonferenz<\/em>, 2005) a explicitement soulign\u00e9 la n\u00e9cessit\u00e9 imp\u00e9rative de r\u00e9guler cette charge et d’\u00e9valuer scientifiquement les pratiques d’examen dans les universit\u00e9s.<\/p>\n Dans ce contexte, le MFE-K poursuit une triple finalit\u00e9 appliqu\u00e9e et de recherche :<\/p>\n L’administration standardis\u00e9e du MFE-K est con\u00e7ue pour intervenir imm\u00e9diatement apr\u00e8s la passation de l’\u00e9preuve \u00e9crite<\/em> et avant la divulgation des r\u00e9sultats et des notes. Cette temporalit\u00e9 m\u00e9thodologique est essentielle : elle garantit que les jugements formul\u00e9s par les \u00e9tudiants sur la difficult\u00e9, la clart\u00e9 et l’organisation de l’examen ne soient pas biais\u00e9s r\u00e9trospectivement par l’attribution d’une note favorable ou d\u00e9favorable (\u00e9limination du biais d’attribution d\u00e9fensive).<\/p>\n Le MFE-K op\u00e9rationnalise la qualit\u00e9 per\u00e7ue d’un examen \u00e9crit selon un mod\u00e8le tridimensionnel corr\u00e9l\u00e9, enrichi par des indicateurs contextuels et logistiques. Les trois dimensions principales ont \u00e9t\u00e9 isol\u00e9es par des m\u00e9thodes d’analyse qualitative (entretiens semi-directifs et cat\u00e9gorisation de Mayring) puis confirm\u00e9es par mod\u00e9lisation d’\u00e9quations structurelles :<\/p>\n Cette dimension \u00e9value le fardeau psychologique, organisationnel et temporel impos\u00e9 \u00e0 l’apprenant par l’\u00e9preuve dans le cadre global de son semestre universitaire. Il ne s’agit pas de mesurer la difficult\u00e9 intrins\u00e8que de la mati\u00e8re intellectuelle, mais plut\u00f4t l’intensit\u00e9 du conflit de ressources temporelles et la saturation cognitive g\u00e9n\u00e9r\u00e9e par l’agencement des examens. Dans le cadre de la th\u00e9orie du stress acad\u00e9mique et du mod\u00e8le des exigences-ressources, cette dimension capture la contrainte externe :<\/p>\n Cette sous-\u00e9chelle mesure le degr\u00e9 de clart\u00e9, de pr\u00e9visibilit\u00e9 et d’accessibilit\u00e9 des informations p\u00e9dagogiques et structurelles fournies aux \u00e9tudiants en amont de l’\u00e9preuve. Ce construit repose sur le concept d’alignement p\u00e9dagogique<\/a> (constructive alignment<\/em>) formul\u00e9 par John Biggs, selon lequel l’efficacit\u00e9 de l’apprentissage repose sur la congruence explicite entre les objectifs de formation, les activit\u00e9s d’enseignement et l’\u00e9valuation sommative :<\/p>\n Ce construit s’attache \u00e0 la qualit\u00e9 formelle, technique et r\u00e9dactionnelle du support d’examen lui-m\u00eame. Il rel\u00e8ve de l’ergonomie cognitive des \u00e9preuves d’\u00e9valuation et de la docimologie appliqu\u00e9e, mesurant la r\u00e9duction de la charge cognitive extrins\u00e8que li\u00e9e \u00e0 une mauvaise pr\u00e9sentation :<\/p>\n Au-del\u00e0 de ces 11 items factoris\u00e9s, l’instrument incorpore des modules contextuels \u00e9valuant la volum\u00e9trie horaire du travail pr\u00e9paratoire (Item 5), la typologie des sources d’information consult\u00e9es (Item 4), le diagnostic standardis\u00e9 des freins \u00e0 l’apprentissage (procrastination, supports d\u00e9fectueux, volume excessif ; Item 6), la difficult\u00e9 globale per\u00e7ue (Item 11), l’\u00e9quilibre entre m\u00e9morisation et comp\u00e9tences appliqu\u00e9es (Item 20), ainsi que les conditions d’ambiance physique de la salle d’examen (acoustique, luminosit\u00e9, temp\u00e9rature ; Items 22 et 23).<\/p>\n Le d\u00e9veloppement du MFE-K s’ancre \u00e0 la crois\u00e9e de plusieurs courants fondamentaux de la psychologie de l’\u00e9ducation, de la psychom\u00e9trie appliqu\u00e9e et de la docimologie universitaire contemporaine :<\/p>\n D\u00e9velopp\u00e9e initialement par John Sweller, la th\u00e9orie de la charge cognitive<\/a> postule que la m\u00e9moire de travail humaine dispose de capacit\u00e9s de traitement strictement limit\u00e9es. Dans une situation d’\u00e9valuation sommative, trois types de charges cognitives coexistent :<\/p>\n Le MFE-K cible pr\u00e9cis\u00e9ment la r\u00e9gulation de la charge extrins\u00e8que : des consignes mal r\u00e9dig\u00e9es (dimension Klausurgestaltung<\/em>) ou un manque d’informations pr\u00e9paratoires (dimension Transparenz<\/em>) saturent inutilement la m\u00e9moire de travail des candidats, r\u00e9duisant artificiellement leur performance intellectuelle r\u00e9elle.<\/p>\n Dans la th\u00e9orie didactique de John Biggs (Constructive Alignment<\/em>), l’\u00e9valuation sommative n’est pas un \u00e9v\u00e9nement isol\u00e9 mais le point d’orgue d’un syst\u00e8me syst\u00e9mique coh\u00e9rent. Pour que l’\u00e9valuation soit valide, les \u00e9tudiants doivent percevoir une congruence totale entre ce qui a \u00e9t\u00e9 enseign\u00e9, la mani\u00e8re dont cela a \u00e9t\u00e9 travaill\u00e9 et les modalit\u00e9s de l’examen final. L’absence de transparence cr\u00e9e une dissonance p\u00e9dagogique destructrice conduisant \u00e0 des strat\u00e9gies d’\u00e9vitement ou \u00e0 un cynisme acad\u00e9mique mesur\u00e9 dans le MFE-K par l’item \u00ab Je veux seulement r\u00e9ussir cet examen, la note m’est \u00e9gale \u00bb (Item 25).<\/p>\n Sur le plan de l’\u00e9valuation institutionnelle, le cadre conceptuel s’appuie sur les travaux s\u00e9minaux de Heiner Rindermann (1996, 2001) relatifs \u00e0 l’\u00e9valuation des enseignements universitaires. Rindermann conceptualise l’\u00e9valuation non pas comme une proc\u00e9dure bureaucratique punitive, mais comme un cycle de r\u00e9troaction r\u00e9gulateur capable de g\u00e9n\u00e9rer des effets positifs \u00e0 de multiples niveaux : am\u00e9lioration de la qualification didactique des enseignants, identification diagnostique des forces et faiblesses d’un cursus, m\u00e9diation du dialogue entre \u00e9tudiants et corps professoral, et rationalisation de l’attribution des ressources d’enseignement.<\/p>\n La validation psychom\u00e9trique du MFE-K a suivi un protocole rigoureux combinant d\u00e9marches qualitatives inductives et validations statistiques quantitatives sur de larges \u00e9chantillons d’\u00e9tudiants universitaires :<\/p>\n Comme le soulignait d\u00e9j\u00e0 Herbert W. Marsh (1984) pour l’\u00e9valuation des enseignements, la validation des instruments docimologiques se heurte \u00e0 l’absence de crit\u00e8re objectif externe universel d\u00e9finissant ce qu’est un \u00ab examen parfait \u00bb. Pour surmonter cet obstacle \u00e9pist\u00e9mologique, les auteurs ont conduit au cours du semestre d’hiver 2009\/2010 une \u00e9tude qualitative approfondie (Froncek, 2010 ; Froncek & Thielsch, 2011) visant \u00e0 identifier les caract\u00e9ristiques d’un examen \u00e9crit de haute qualit\u00e9. Dix entretiens approfondis semi-directifs guid\u00e9s ont \u00e9t\u00e9 men\u00e9s aupr\u00e8s d’\u00e9tudiants de diff\u00e9rents semestres (1er, 3e et 5e semestres) et d’enseignants-examinateurs issus de multiples sous-disciplines psychologiques. Ces entretiens ont \u00e9t\u00e9 transcrits et analys\u00e9s selon la m\u00e9thode de l’analyse qualitative de contenu de Mayring<\/a> (2003). L’ensemble des items des sous-\u00e9chelles \u00ab Transparence \u00bb et \u00ab Conception de l’examen \u00bb ont \u00e9t\u00e9 directement d\u00e9riv\u00e9s des cat\u00e9gories empiriques consensuelles extraites de cette analyse, garantissant une validit\u00e9 de contenu \u00e9cologique optimale.<\/p>\n La dimensionnalit\u00e9 de l’outil a \u00e9t\u00e9 test\u00e9e et affin\u00e9e \u00e0 travers plusieurs it\u00e9rations successives. Alors qu’un mod\u00e8le initial \u00e0 deux facteurs (\u00ab Examen & Organisation \u00bb et \u00ab Charge des \u00e9tudiants \u00bb) test\u00e9 au semestre d’\u00e9t\u00e9 2009 sur 409 observations pr\u00e9sentait des indices d’ad\u00e9quation insuffisants (χ² = 146,46, df<\/em> = 26 ; TLI = 0,87 ; CFI = 0,91 ; RMSEA = 0,11), le mod\u00e8le r\u00e9vis\u00e9 \u00e0 trois facteurs corr\u00e9l\u00e9s a d\u00e9montr\u00e9 d’excellentes qualit\u00e9s d’ajustement lors de la mod\u00e9lisation confirmatoire finale (voir section 9).<\/p>\n La capacit\u00e9 de l’instrument \u00e0 diff\u00e9rencier objectivement la qualit\u00e9 r\u00e9elle d’examens distincts a \u00e9t\u00e9 test\u00e9e par le biais d’une analyse de variance multivari\u00e9e (MANOVA). Les diff\u00e9rents examens universitaires \u00e9valu\u00e9s (17 \u00e9preuves distinctes au cours du semestre d’hiver 2010\/2011, repr\u00e9sentant N<\/em> = 688 passations) ont \u00e9t\u00e9 introduits comme variable ind\u00e9pendante, tandis que les trois sous-\u00e9chelles du MFE-K constituaient les variables d\u00e9pendantes. Les r\u00e9sultats indiquent un effet global hautement significatif du type d’examen sur les scores du MFE-K :<\/p>\n F<\/em> = 11,9 ; df<\/em> = 48 ; p<\/em> < 0,001 ; η² = 0,22<\/strong><\/p>\n Cette taille d’effet substantielle (η² partiel de 22 %) confirme la sensibilit\u00e9 diff\u00e9rentielle de l’instrument : le MFE-K ne mesure pas une simple disposition g\u00e9n\u00e9rale de satisfaction ou d’humeur \u00e9tudiante globale, mais r\u00e9agit pr\u00e9cis\u00e9ment et fid\u00e8lement aux variations r\u00e9elles des pratiques de conception et d’organisation propres \u00e0 chaque \u00e9quipe p\u00e9dagogique.<\/p>\n L’analyse des corr\u00e9lations entre les moyennes des sous-\u00e9chelles apporte des preuves solides de validit\u00e9 convergente et discriminante :<\/p>\n La fid\u00e9lit\u00e9 du MFE-K a \u00e9t\u00e9 quantifi\u00e9e \u00e0 travers l’\u00e9valuation de la consistance interne de chacune des sous-\u00e9chelles factoris\u00e9es sur un \u00e9chantillon empirique repr\u00e9sentatif de 688 \u00e9valuations d’examens (WWU M\u00fcnster, donn\u00e9es du semestre d’hiver 2010\/2011) :<\/p>\n Au regard des standards psychom\u00e9triques conventionnels (Nunnally & Bernstein, 1994), ces coefficients de coh\u00e9rence interne (compris entre 0,76 et 0,84) sont jug\u00e9s satisfaisants \u00e0 tr\u00e8s bons, en particulier au regard du faible nombre d’items<\/em> composant chaque \u00e9chelle (seulement 3 ou 4 items). L’analyse de l’impact de la suppression d’items sur l’alpha de Cronbach confirme la pertinence de chaque indicateur dans son \u00e9chelle respective, \u00e0 l’exception notable de l’item 3 qui pr\u00e9sente une consistance l\u00e9g\u00e8rement moindre (la suppression de l’item 3 porterait l’alpha de l’\u00e9chelle Charge \u00e0 0,86), ce qui s’explique par son orientation plus g\u00e9n\u00e9rale sur le semestre plut\u00f4t que sp\u00e9cifique \u00e0 l’examen \u00e9valu\u00e9.<\/p>\n2. Mots-cl\u00e9s \/ Keywords<\/h2>\n
3. Auteurs \/ Authors<\/h2>\n
\n
4. Objectif \/ Purpose<\/h2>\n
\n
5. Construit psychologique \/ Construct<\/h2>\n
1. La charge des \u00e9tudiants (Belastung der Studierenden<\/em>)<\/h3>\n
\n
2. La transparence (Transparenz<\/em>)<\/h3>\n
\n
3. La conception de l’examen (Klausurgestaltung<\/em>)<\/h3>\n
\n
4. Variables contextuelles et exploratoires<\/h3>\n
6. Cadre th\u00e9orique \/ Theoretical Framework<\/h2>\n
La th\u00e9orie de la charge cognitive (Cognitive Load Theory<\/em>)<\/h3>\n
\n
Le mod\u00e8le de l’alignement p\u00e9dagogique de Biggs<\/h3>\n
Le paradigme de l’\u00e9valuation formative et de l’assurance qualit\u00e9 (Rindermann)<\/h3>\n
7. Validit\u00e9 \/ Validity<\/h2>\n
Validit\u00e9 de contenu (Content Validity<\/em>)<\/h3>\n
Validit\u00e9 factorielle et structurelle<\/h3>\n
Validit\u00e9 de crit\u00e8re et sensibilit\u00e9 diff\u00e9rentielle<\/h3>\n
Intercorr\u00e9lations entre dimensions<\/h3>\n
\n
8. Fid\u00e9lit\u00e9 \/ Reliability<\/h2>\n
\n\n
\n Sous-\u00e9chelle<\/th>\n Nombre d’items<\/th>\n \u00c9chantillon (N<\/em>)<\/th>\n Alpha de Cronbach (α)<\/th>\n \u00c9tendue des corr\u00e9lations item-total corrig\u00e9es (rit<\/sub><\/em>)<\/th>\n<\/tr>\n<\/thead>\n\n \n Charge des \u00e9tudiants<\/strong> (Belastung<\/em>)<\/td>\n 3<\/td>\n 682<\/td>\n 0,79<\/strong><\/td>\n 0,48 \u00e0 0,73<\/td>\n<\/tr>\n \n Transparence<\/strong> (Transparenz<\/em>)<\/td>\n 4<\/td>\n 685<\/td>\n 0,84<\/strong><\/td>\n 0,59 \u00e0 0,76<\/td>\n<\/tr>\n \n Conception de l’examen<\/strong> (Klausurgestaltung<\/em>)<\/td>\n 4<\/td>\n 679<\/td>\n 0,76<\/strong><\/td>\n 0,47 \u00e0 0,65<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n 9. Analyse factorielle \/ Factor Analysis<\/h2>\n