Module complémentaire textes de base – Questionnaire d’évaluation de Münster (MFE-ZBa)

1. Résumé / Abstract

Le Module complémentaire textes de base – Questionnaire d’évaluation de Münster (en allemand : Münsteraner Fragebogen zur Evaluation – Zusatzmodul Basistexte, abrégé MFE-ZBa) est un instrument psychométrique standardisé conçu pour évaluer la qualité didactique, la pertinence pédagogique et l’accessibilité cognitive des lectures obligatoires ou recommandées (dénommées « textes de base » ou Basistexte) dans le cadre de l’enseignement supérieur universitaire. Développé au sein de l’Institut de Psychologie de l’Université de Münster (Westfälische Wilhelms-Universität Münster) sous la direction de Meinald Thielsch et ses collaborateurs, ce module constitue une extension modulaire spécifique intégrée au système global d’évaluation des cours universitaires (Münsteraner Fragebogen zur Evaluation, MFE).

L’instrument est composé de 5 items unidimensionnels mesurant la clarté rédactionnelle, la pertinence thématique, la reprise didactique par l’enseignant, la contribution à l’assimilation des connaissances et l’adéquation de la charge de lecture. Les réponses sont recueillies sur une échelle de type Likert en 7 points allant de 1 (« pas du tout d’accord » / stimme gar nicht zu) à 7 (« tout à fait d’accord » / stimme vollkommen zu), assortie d’une option d’échappement « non évaluable de manière pertinente » (nicht sinnvoll beantwortbar). Les propriétés psychométriques établies sur un échantillon de 242 évaluations d’étudiants démontrent une consistance interne satisfaisante (alpha de Cronbach = .79), une excellente structure factorielle confirmatoire (χ² = 11.51, df = 5, TLI = .93, CFI = .98, RMSEA = .08) et une validité de construit robuste, marquée par des corrélations convergentes positives avec l’efficacité de l’enseignant et la réussite perçue, ainsi que des corrélations divergentes négatives avec le sentiment de surcharge cognitive.

2. Mots-clés / Keywords

évaluation des enseignements par les étudiants, qualité pédagogique, textes de base, supports de cours, enseignement supérieur, docimologie, psychométrie, Münsteraner Fragebogen zur Evaluation, MFE-ZBa, ingénierie pédagogique, lecture académique, charge cognitive.

3. Auteurs / Authors

Le module MFE-ZBa a été développé et validé par l’équipe de recherche en psychologie organisationnelle et évaluation pédagogique de l’Université de Münster :

• Dr. phil. Dipl.-Psych. Meinald T. Thielsch : Chercheur senior et enseignant-chercheur à l’Institut de Psychologie de l’Université de Münster (Westfälische Wilhelms-Universität Münster), Département de Psychologie du Travail et des Organisations (Psychologisches Institut 1, Fliednerstr. 21, 48149 Münster, Allemagne ; Courriel : [email protected] ; Plateforme : www.uni-muenster.de/PsyEval).
• B. Sc. Ina Stegemöller : Collaboratrice de recherche, Institut de Psychologie, Université de Münster.
• Collaborateurs historiques du projet MFE : Dipl.-Psych. Claudia Grabbe (travaux initiaux de conception d’items, 2003), Dipl.-Psych. Christian Moeck (implémentation modulaire, 2004) et Dipl.-Psych. Ilka Haaser (digitalisation du système en ligne, 2007).

4. Objectif / Purpose

Dans l’espace universitaire contemporain, l’évaluation des enseignements par les étudiants (EEE) constitue la pierre angulaire des démarches d’assurance qualité institutionnelle et de développement professionnel continu des enseignants-chercheurs (Rindermann, 1996). Toutefois, les instruments d’évaluation conventionnels souffrent régulièrement de deux limites méthodologiques majeures : soit ils se cantonnent à des questions excessivement globales et génériques (inaptes à guider des réformes didactiques concrètes), soit ils imposent des batteries d’items exhaustives mais interminables, générant fatigue décisionnelle, attrition et biais d’inattention chez les étudiants (Schmidt & Loßnitzer, 2010 ; Thielsch & Weltzin, 2012).

Le module MFE-ZBa répond spécifiquement à cet impératif d’efficience et d’actionnabilité. Son objectif fondamental est de mesurer avec précision la réception, l’utilité perçue et l’intégration didactique des lectures de référence imposées ou suggérées dans un enseignement. Dans les séminaires interactifs (Seminare) comme dans les cours magistraux approfondis (Vorlesungen), la lecture préalable de textes académiques (articles scientifiques, chapitres d’ouvrages, études de cas) est un prérequis central de la pédagogie active et de la classe inversée. Or, sans retour structuré, les enseignants ignorent souvent si ces textes sont trop ardus, désynchronisés par rapport aux séances orales ou délaissés lors des débats en classe.

Sur le plan des applications pratiques et de recherche, le MFE-ZBa permet :

• D’offrir un diagnostic opérationnel ciblé : l’enseignant identifie instantanément si un déficit d’apprentissage provient d’un matériel textuel inadapté, d’un manque d’accompagnement méthodologique ou d’une mauvaise articulation avec les séances en présentiel.
• D’optimiser l’économie temporelle du recueil de données : intégré au système informatisé PsyEval, le module ne s’active que si l’enseignant recourt effectivement à des lectures de base, évitant aux étudiants de répondre à des items non pertinents (Bechler & Thielsch, 2012).
• De nourrir la recherche en psychologie de l’éducation sur l’articulation entre supports textuels, autorégulation de l’apprentissage et engagement cognitif.

5. Construit psychologique / Construct

Le construit mesuré par le MFE-ZBa est la qualité didactique perçue des textes de base dans un contexte d’enseignement supérieur. Bien que les analyses factorielles démontrent une stricte unidimensionnalité statistique, ce construit opérationnalise un ensemble cohérent de cinq facettes interdépendantes de l’ingénierie textuelle pédagogique :

1. L’accessibilité cognitive et la compréhensibilité (Item 1)

Cette facette évalue si le niveau rédactionnel, la terminologie spécialisée et la densité conceptuelle des lectures proposées sont adaptés au stade de formation des étudiants. Un texte hermétique ou dénué de prérequis explicites bloque l’assimilation autonome et accroît inutilement la charge cognitive extrinsèque.

2. La congruence thématique et l’alignement pédagogique (Item 2)

Conformément au principe d’alignement constructif développé par John Biggs, les supports d’apprentissage doivent entretenir un lien direct et intelligible avec les thématiques abordées lors des séances de cours. L’item 2 évalue cette consonance curriculaire perçue par l’étudiant.

3. L’étayage pédagogique et la médiation par l’enseignant (Item 3)

La simple mise à disposition de lectures académiques est insuffisante si l’enseignant n’exerce pas un rôle actif de médiateur. Cette dimension mesure l’intervention didactique de l’enseignant pour expliciter les ambiguïtés, corriger les contresens et accompagner les étudiants dans la surmontée des obstacles épistémologiques rencontrés lors de la lecture individuelle.

4. L’utilité instrumentale pour l’approfondissement conceptuel (Item 4)

Cette composante interroge la valeur ajoutée des lectures et des consignes d’étude associées (questions directrices, tâches de réflexion) dans la construction active du savoir. Elle évalue dans quelle mesure le travail sur les textes favorise une compréhension en profondeur plutôt qu’une mémorisation superficielle.

5. La fonction préparatoire et la valeur pragmatique pour la séance (Item 5)

Cette dernière facette examine la rentabilité formative de la tâche de lecture en amont de la séance. L’étudiant juge si le temps investi dans l’étude préparatoire du document constitue un levier effectif pour participer activement aux échanges, suivre l’argumentation du cours et rentabiliser le temps passé en classe.

6. Cadre théorique / Theoretical Framework

L’architecture conceptuelle du questionnaire MFE-ZBa s’ancre à la croisée de la théorie de la charge cognitive (Sweller, 1988 ; Paas et al., 2003), du modèle d’évaluation de la qualité de l’enseignement de Herbert W. Marsh (1984) et des paradigmes de l’évaluation formative universitaire conceptualisés par Heiner Rindermann (1996).

L’approche multidimensionnelle et modulaire de Marsh et Grabbe

Marsh (1984) a démontré que la qualité de l’enseignement universitaire ne peut être appréhendée comme un trait unitaire simpliste, mais comme un agrégat de dimensions distinctes (clarté des explications, dynamisme, organisation, interaction de groupe, adéquation des évaluations). Partant de ces constats, Grabbe (2003) avait initialement élaboré un questionnaire de 29 items couvrant 8 dimensions pour l’Université de Münster. Cependant, les entretiens approfondis avec le corps professoral ont révélé qu’un format uniforme était inadapté à la diversité des pratiques pédagogiques (séminaires de lecture, travaux pratiques de laboratoire, cours magistraux ex cathedra, cours assistés par ordinateur).

En réponse, Moeck et Thielsch (2004) ont développé une modélisation modulaire : un tronc commun d’items généraux (MFE-Sr pour les séminaires, MFE-Vr pour les cours magistraux) couplé à des modules satellites activables à la demande, dont le MFE-ZBa pour les lectures de base. Cette structure évite la saturation des questionnaires tout en préservant une validité écologique maximale.

Optimisation cognitive et théorie de la charge mentale

Dans la perspective de Sweller (1988), la lecture académique impose une charge cognitive intrinsèque liée à la complexité des théories abordées. Si les textes sont mal contextualisés, dépourvus de guidage ou excessifs en volume, la charge cognitive extrinsèque s’accroît dramatiquement, saturant la mémoire de travail de l’apprenant. Les travaux de validation du MFE-ZBa confirment cette théorie : la qualité perçue des textes est fortement et négativement corrélée au sentiment de dépassement et de surcharge cognitive (Überforderung) des étudiants. Des textes bien choisis et didactisés facilitent la métacognition et libèrent des ressources pour la charge germane (l’intégration effective des schémas de connaissances).

7. Validité / Validity

La validité psychométrique du MFE-ZBa a été établie sur un échantillon rigoureux de 242 évaluations d’étudiants recueillies entre le semestre d’hiver 2010/2011 et le semestre d’été 2012 à l’Université de Münster. Les données ont été traitées selon les standards académiques internationaux (American Psychological Association) sous le logiciel AMOS.

Validité convergente

La validité convergente a été explorée en corrélant le score global moyen au MFE-ZBa avec les échelles des modules de base pour les séminaires (MFE-Sr) et les cours magistraux (MFE-Vr) :

• Compétence didactique de l’enseignant (Dozent & Didaktik) : corrélation élevée et positive dans les séminaires (r = .63, p < .01) et substantielle dans les cours magistraux (r = .52, p < .01).
• Qualité des supports pédagogiques (Materialien) : corrélation très forte dans les séminaires (r = .62, p < .01) et modérée à élevée dans les cours magistraux (r = .45, p < .01).
• Réussite d’apprentissage auto-évaluée (selbst eingeschätzter Lernerfolg) : corrélation robuste dans les séminaires (r = .56, p < .01) et positive dans les cours (r = .39, p < .01).
• Appréciation globale de l’enseignement (Gesamtbeurteilung) : relation positive marquée (r = .56 dans les séminaires ; r = .35 dans les cours magistraux, p < .01).
• Intention de recommandation du cours : corrélation positive statistiquement significative (r = .29, p < .01).
• Dynamique des participants (Teilnehmer) : corrélation modérée (r = .33, p < .01), attestant que des lectures partagées nourrissent l’interaction collégiale.

Validité divergente / discriminante interne

La validité divergente se manifeste par une corrélation substantiellement négative avec l’échelle de surcharge / dépassement cognitif (Überforderung) : r = -.53 (p < .01) pour les séminaires et r = -.40 (p < .01) pour les cours magistraux. Ce résultat indique sans ambiguïté que l’utilisation efficace de textes de base ne noie pas les étudiants sous un fardeau académique ingérable, mais clarifie et canalise au contraire leurs efforts intellectuels.

Validité critériée et sensibilité inter-cours (validité discriminative externe)

Un enjeu fondamental d’un instrument d’EEE est sa capacité à différencier objectivement les cours entre eux plutôt que de refléter un biais de complaisance généralisé. Une analyse de variance (ANOVA) à un facteur a été conduite avec les 16 cours évalués comme variable indépendante et le score global du module MFE-ZBa comme variable dépendante. Les résultats mettent en évidence un effet significatif avec une taille d’effet moyenne :

F(15, 226) = 2.14, p < .01, η² = .12

Le module MFE-ZBa démontre ainsi une sensibilité docimologique avérée, capable de discriminer de manière fine la qualité d’implémentation des lectures selon les enseignants et les contextes didactiques.

8. Fidélité / Reliability

La consistance interne de l’échelle MFE-ZBa a été rigoureusement évaluée sur l’échantillon complet de référence (N = 242) :

• Alpha de Cronbach global : α = .79. Selon les critères psychométriques conventionnels de Nunnally et Bernstein (1994), une valeur avoisinant .80 pour une échelle courte de 5 items reflète une homogénéité interne remarquable, parfaitement calibrée pour des évaluations institutionnelles agrégées au niveau du cours.
• Stabilité et impact du retrait des items (α en cas de suppression) : l’analyse détaillée révèle une contribution équilibrée de chaque item au construit global :
  • Suppression Item 1 : α = .77
  • Suppression Item 2 : α = .73
  • Suppression Item 3 : α = .79
  • Suppression Item 4 : α = .73
  • Suppression Item 5 : α = .73

  Ces valeurs confirment qu’aucun item ne dégrade la fidélité globale et que le retrait de l’item 3 n’altère pas la valeur d’alpha (.79), justifiant la conservation intégrale des 5 items pour couvrir la totalité du domaine conceptuel.

• Corrélations item-total corrigées (discrimination / Trennschärfe) : toutes les valeurs de corrélation item-reste se situent entre .45 et .64 (Item 1 : r_it = .52 ; Item 2 : r_it = .64 ; Item 3 : r_it = .45 ; Item 4 : r_it = .62 ; Item 5 : r_it = .64), attestant d’une excellente capacité discriminative individuelle de chaque énoncé.

9. Analyse factorielle / Factor Analysis

La structure dimensionnelle du MFE-ZBa a fait l’objet d’un processus de validation en deux étapes : une analyse factorielle exploratoire (AFE) initiale lors de la révision de 2010 (basée sur les cohortes des semestres d’hiver 2008/2009 et 2009/2010), suivie d’une analyse factorielle confirmatoire (AFC) rigoureuse par estimation du maximum de vraisemblance (Maximum Likelihood) réalisée avec le logiciel AMOS sur la cohorte 2010-2012 (N = 242).

Indices d’ajustement du modèle unidimensionnel

Le modèle testant l’hypothèse d’un facteur latent unique sous-tendant les 5 items présente des indices d’adéquation remarquables, pleinement conformes aux standards de Hu et Bentler (1999) :

• Chi-carré : χ² = 11.51 avec 5 degrés de liberté (df), ratio χ²/df = 2.30 (excellent ajustement < 3.00).
• Tucker-Lewis Index (TLI) : .93
• Comparative Fit Index (CFI) : .98
• Root Mean Square Error of Approximation (RMSEA) : .08

Saturations factorielles et statistiques descriptives des items

Les saturations factorielles standardisées s’échelonnent de .52 à .77, traduisant un ancrage fort et cohérent dans le trait latent commun. L’échelle agrégée affiche une moyenne globale de M = 5.60 (SD = 1.04, Médiane = 5.54), avec une asymétrie de -0.87 (erreur standard = .16) et un aplatissement (kurtosis) de 0.86 (erreur standard = .31), reflétant une appréciation globalement positive mais néanmoins nuancée des textes de référence proposés.

10. Instrument de mesure / Instrument

L’inventaire MFE-ZBa se caractérise par une administration hautement standardisée, intégrée à une infrastructure numérique d’enquête :

• Type d’instrument : Auto-questionnaire psychométrique modulaire d’évaluation des enseignements par les étudiants (EEE).
• Format d’administration : Plateforme d’enquête en ligne (système web développé en PHP/MySQL ; Haaser et al., 2007) assurant l’anonymat complet, le contrôle des données manquantes et la comparabilité institutionnelle.
• Positionnement : Module complémentaire optionnel présenté immédiatement après les modules de base d’évaluation des séminaires (MFE-Sr) ou des cours magistraux (MFE-Vr). Aucune consigne introductive spécifique n’est requise, les instructions générales du système étant présentées lors de l’accès initial.
• Nombre d’items : 5 énoncés formulés de manière univoque et positive.
• Format de réponse authentique : Échelle de cotation ordinale en 7 points :
  1 = "stimme gar nicht zu" (pas du tout d’accord)
  2 = "stimme nicht zu" (pas d’accord)
  3 = "stimme eher nicht zu" (plutôt pas d’accord)
  4 = "neutral" (neutre)
  5 = "stimme eher zu" (plutôt d’accord)
  6 = "stimme zu" (d’accord)
  7 = "stimme vollkommen zu" (tout à fait d’accord)
  Option complémentaire : « nicht sinnvoll beantwortbar » (non évaluable de manière pertinente).
• Modalités de cotation (Scoring) : Compte tenu de la stricte unidimensionnalité de l’outil, le score global s’obtient par la moyenne arithmétique (ou la somme brute) des 5 items (les réponses « non évaluable » étant traitées comme valeurs manquantes lors du calcul). Aucun item n’est inversé. Un score moyen élevé (> 5.50) reflète une excellente intégration didactique des lectures de base.

11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year

L’historique institutionnel et les conditions juridiques d’utilisation du MFE-ZBa se définissent comme suit :

• Année de développement initial : 2003 (première publication des modules d’extension par Moeck & Thielsch).
• Année de révision et validation confirmatoire : 2010 (analyses psychométriques publiées dans ZIS / PsyEval).
• Statut de développement : Instrument validé et standardisé.
• Droits d’utilisation et politique tarifaire : Le MFE-ZBa est un instrument académique mis à la disposition gratuite des chercheurs, enseignants et universités dans le cadre exclusif de l’évaluation pédagogique et de la recherche scientifique.
• Contact et autorisations : Les demandes institutionnelles et l’accès aux plateformes de passation doivent être adressés au Dr. Meinald Thielsch (Université de Münster, PsyEval). Toute exploitation commerciale demeure soumise à autorisation préalable expresse des auteurs.

12. Références / References

Les sources bibliographiques et études psychométriques relatives au développement et à la validation du MFE-ZBa sont les suivantes :

• Bechler, F., & Thielsch, M. T. (2012). Erfolgsfaktoren universitärer Lehrevaluation: Befunde und Handlungsempfehlungen aus Sicht von Studierenden und Dozierenden. Psychologisches Institut der Westfälischen Wilhelms-Universität Münster.
• Göritz, A. S., Soucek, R., & Bacher, J. (2005). Online-Panels in der empirischen Sozialforschung. Wirtschaftsinformatik, 47(5), 356–364. https://doi.org/10.1007/s11576-005-0069-2
• Grabbe, C. (2003). Dimensionen guter Lehre: Entwicklung eines Fragebogens zur Lehrevaluation [Thèse d’exercice non publiée, Faculté de Psychologie]. Westfälische Wilhelms-Universität Münster.
• Haaser, I., Thielsch, M. T., & Moeck, C. (2007). PsyEval: Konzeption und Implementierung eines webbasierten Lehrevaluationssystems. Zeitschrift für Medienpsychologie, 19(2), 70–78.
• Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1–55. https://doi.org/10.1080/10705519909540118
• Marsh, H. W. (1984). Students’ evaluations of university teaching: Dimensionality, reliability, validity, potential baises and utility. Journal of Educational Psychology, 76(5), 707–754. https://doi.org/10.1037/0022-0663.76.5.707
• Moeck, C., & Thielsch, M. T. (2004). Entwicklung modularer Fragebögen zur Evaluation universitärer Lehrveranstaltungen. Westfälische Wilhelms-Universität Münster.
• Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). McGraw-Hill.
• Paas, F., Renkl, A., & Sweller, J. (2003). Cognitive load theory and instructional design: Recent developments. Educational Psychologist, 38(1), 1–4. https://doi.org/10.1207/S15326985EP3801_1
• Rindermann, H. (1996). Untersuchungen zur Qualität von Lehre und Studium: Entwicklung, Erprobung und Validierung des Heidelberger Inventars zur Lehrveranstaltungs-Evaluation (HILVE). Roderer. https://doi.org/10.1026//0012-1924.42.4.245
• Schmidt, J., & Loßnitzer, T. (2010). Instrumente zur Lehrevaluation: Ein Überblick über deutschsprachige Verfahren. Zeitschrift für Evaluation, 9(2), 223–251. https://doi.org/10.1026/0012-1924/a000065
• Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2), 257–285. https://doi.org/10.1207/s15516709cog1202_4
• Thielsch, M. T., & Stegemöller, I. (2012). Münsteraner Fragebogen zur Evaluation – Zusatzmodul Basistexte (MFE-ZBa). Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis148
• Thielsch, M. T., & Weltzin, S. (2012). Online-Lehrevaluationen: Vor- und Nachteile webbasierter Befragungen im Hochschulbereich. Personal- und Organisationsentwicklung in Einrichtungen der Lehre und Forschung, 7(3+4), 78–84.

13. Questions et items du questionnaire / Scale Items