Module additionnel exposés – Questionnaire d’évaluation de Münster (MFE-ZRe)

1. Résumé / Abstract

Le Module additionnel exposés – Questionnaire d’évaluation de Münster (connu sous son acronyme allemand officiel Münsteraner Fragebogen zur Evaluation – Zusatzmodul Referate, ou MFE-ZRe) constitue un instrument psychométrique standardisé conçu pour l’évaluation spécifique des présentations orales d’étudiants (exposés ou Referate) au sein des séminaires d’enseignement supérieur. Développé au sein de l’Institut de psychologie de la Westfälische Wilhelms-Universität Münster par Ina Grötemeier, Meinald Thielsch et leurs collaborateurs, cet outil s’intègre comme une extension modulaire au questionnaire socle d’évaluation des séminaires (MFE-Sr).

L’instrument se compose d’une batterie globale de 13 items articulés autour de dimensions qualitatives et quantitatives. Le cœur psychométrique repose sur huit items évaluatifs principaux (items 4 à 11), explorant deux dimensions factorielles distinctes : d’une part, le soutien apporté par l’enseignant (trois items mesurant la disponibilité, les conseils de contenu et les apports experts) et, d’autre part, l’acquisition de compétences par l’étudiant (cinq items évaluant la motivation intrinsèque, le feedback constructif, la maîtrise méthodologique des textes scientifiques, l’expression rhétorique et la maîtrise des techniques de présentation). Le format de réponse pour ces items centraux s’appuie sur une échelle de Likert en sept points (allant de 1 = « pas du tout d’accord » à 7 = « tout à fait d’accord »), assortie d’une option neutre et d’une catégorie résiduelle d’inapplicabilité (« non évaluable de manière pertinente »). Des items complémentaires ouverts et ordinaux saisissent le volume, la durée et l’appréciation globale des prestations.

Sur le plan métrologique, l’analyse factorielle exploratoire (extraction en axes principaux avec rotation oblique Promax) confirme une solution à deux composantes corrélées (r = 0,58), expliquant cumulativement 54,9 % de la variance totale. La cohérence interne est jugée satisfaisante pour une évaluation agrégée au niveau des cours, affichant un coefficient alpha de Cronbach de 0,68 pour l’échelle de soutien professoral et de 0,76 pour celle du développement des compétences. La validité convergente est démontrée par des corrélations substantielles et théoriquement concordantes avec le succès d’apprentissage auto-évalué et la note globale de l’enseignement.

2. Mots-clés / Keywords

Évaluation des enseignements par les étudiants, docimologie, psychométrie, enseignement supérieur, exposés oraux, acquisition de compétences, soutien pédagogique, assurance qualité académique, questionnaire modulaire, fidélité, validité factorielle.

3. Auteurs / Authors

L’élaboration, l’étalonnage psychométrique et la diffusion du module additionnel MFE-ZRe sont issus des travaux de recherche conduits à l’université de Münster :

• Ina Grötemeier : Westfälische Wilhelms-Universität Münster, Institut für Psychologie, Fliednerstr. 21, 48149 Münster, Allemagne. Plateforme institutionnelle : PsyEval (www.uni-muenster.de/PsyEval).
• Dr. Dipl.-Psych. Meinald Thielsch : Westfälische Wilhelms-Universität Münster, Psychologisches Institut 1, Fliednerstr. 21, 48149 Münster, Allemagne. Courriel : [email protected]. Spécialiste en psychologie organisationnelle, diagnostic en ligne et méthodes d’évaluation de la qualité pédagogique.

4. Objectif / Purpose

Le module additionnel pour les exposés (MFE-ZRe) a été développé pour combler une lacune méthodologique majeure dans les dispositifs traditionnels d’évaluation des enseignements par les étudiants (EEE). Les batteries généralistes standardisées s’avèrent fréquemment inaptes à saisir les spécificités didactiques inhérentes aux formats d’apprentissage interactifs, tels que les séminaires universitaires avancés où la présentation orale par les pairs constitue le pivot central de la transmission du savoir. L’objectif fondamental de cet instrument est donc d’offrir une métrique standardisée, brève et économiquement viable, capable de sonder précisément les mécanismes d’échafaudage pédagogique et les gains d’apprentissage liés à la pratique des exposés.

Dans le contexte universitaire contemporain, l’évaluation des enseignements remplit une triple mission selon les modélisations de l’assurance qualité (Rindermann, 1996) : formative (guider le perfectionnement pédagogique de l’enseignant), sommative (éclairer l’allocation des ressources institutionnelles et valoriser l’excellence enseignante) et émancipatrice (stimuler le dialogue constructif entre le corps enseignant et la communauté étudiante). Le MFE-ZRe intervient spécifiquement comme un module « branché » de manière flexible en fonction du contrat pédagogique défini pour le cours. Plutôt que d’imposer un questionnaire monolithique et fastidieux, ce système permet à l’enseignant d’activer le module uniquement lorsque les exposés font partie intégrante du cursus, garantissant que les étudiants ne répondent qu’à des questions ayant un ancrage concret dans leur expérience vécue.

Sur le plan de la recherche docimologique et psycho-éducative, le MFE-ZRe permet d’investiguer empiriquement l’impact des stratégies d’encadrement professoral sur le développement effectif du sentiment d’auto-efficacité et des compétences académiques transversales des étudiants. Il résout le compromis classique entre la profondeur diagnostique et l’économie temporelle du test, en limitant le fardeau cognitif imposé aux répondants via une administration en ligne optimisée qui neutralise les taux de données manquantes.

5. Construit psychologique / Construct

Le construit psychologique opérationnalisé par le MFE-ZRe s’articule autour de la qualité didactique d’un dispositif spécifique d’apprentissage actif : la communication scientifique orale en contexte de groupe. Conformément aux analyses factorielles et théoriques menées par Grötemeier et Thielsch, ce construit global se subdivise en deux composantes psychologiques corrélées mais conceptuellement distinctes.

1. Soutien pédagogique dispensé par l’enseignant (Unterstützung durch den Dozenten)

Cette sous-échelle mesure la perception par l’étudiant de l’étayage didactique (au sens de l’instructional scaffolding développé en psychologie de l’éducation). L’enseignant n’y est pas conçu comme un simple évaluateur passif, mais comme un facilitateur actif intervenant en amont et au cours de la prestation. Ce construit comprend trois facettes opérationnelles :

• L’allocation temporelle et la disponibilité : Capacité de l’enseignant à consacrer un temps suffisant aux consultations préparatoires (Item 4).
• La guidance heuristique et conceptuelle : Pertinence des suggestions théoriques apportées par le tuteur pour structurer la problématique et le contenu du travail (Item 5).
• La contextualisation experte : Aptitude du professeur à enrichir la présentation en séance par son expertise propre, en apportant des éclairages complémentaires qui valorisent l’intervention de l’étudiant sans la décrédibiliser (Item 8).

2. Acquisition de compétences par l’apprenant (Kompetenzerwerb)

Cette sous-échelle appréhende l’évaluation subjective des gains développementaux réalisés par l’étudiant à travers l’exercice de l’exposé. Elle s’inscrit au carrefour de la théorie de l’apprentissage autorégulé et de la motivation académique. Les facettes mesurées incluent :

• L’engagement motivationnel intrinsèque : L’importance accordée par l’étudiant à la réussite qualitative de son travail (Item 6), traduisant son niveau d’implication personnelle.
• La réceptivité au feedback formatif : L’utilité perçue des retours évaluatifs formulés par l’enseignant pour la progression académique (Item 7).
• L’auto-efficacité scientifique et textuelle : L’amélioration déclarée de l’aptitude à traiter de manière critique, synthétique et rigoureuse des corpus théoriques complexes (Item 9).
• Les compétences oratoires et communicationnelles : Le renforcement des aptitudes rhétoriques et de l’aisance verbale face à une audience universitaire (Item 10).
• La maîtrise des instruments didactiques : L’acquisition d’aptitudes techniques relatives aux outils de support visuel contemporains, tels que les logiciels de présentation assistée par ordinateur (Item 11).

Ces deux dimensions permettent de dissocier analytiquement ce qui relève de la prestation du tuteur de ce qui constitue l’appropriation active de compétences par l’étudiant, fournissant un profil diagnostique hautement informatif pour la régulation pédagogique.

6. Cadre théorique / Theoretical Framework

L’ancrage théorique du MFE-ZRe s’inscrit au confluent de la psychologie de l’éducation, du socioconstructivisme et des modèles de l’évaluation pédagogique universitaire conceptualisés notamment par Herbert W. Marsh et Heiner Rindermann.

Au niveau des théories de l’apprentissage, l’exposé universitaire illustre parfaitement les postulats de la zone proximale de développement théorisée par Lev Vygotski, enrichie par les travaux de Jerome Bruner sur l’étayage (scaffolding). Préparer et animer une présentation académique confronte l’étudiant à une tâche cognitive de haut niveau : sélection documentaire, abstraction conceptuelle, synthèse argumentative, transposition didactique vers ses pairs et gestion du stress oratoire. L’enseignant agit ici comme un tuteur qui module son soutien en fonction des besoins de l’étudiant afin de rendre possible l’autonomisation intellectuelle. Les items de la dimension « Dozent » reflètent précisément cet étayage graduel (mise à disposition de temps, impulsions conceptuelles, synthèse intégrative).

D’autre part, la dimension « Kompetenzerwerb » trouve son fondement conceptuel dans la théorie sociale cognitive d’Albert Bandura, plus particulièrement dans le concept de sentiment d’auto-efficacité (self-efficacy). La maîtrise perçue des compétences scientifiques et oratoires résulte d’expériences de maîtrise active conjuguées à une rétroaction constructive (feedback). Lorsque l’enseignant fournit une rétroaction formative bienveillante et ciblée, l’apprenant consolide ses croyances en sa capacité à interagir avec le savoir scientifique et à communiquer en public.

Enfin, sur le plan de la docimologie universitaire, le modèle s’oppose aux conceptions unidimensionnelles naïves de la « satisfaction étudiante ». Conformément aux démonstrations de Marsh (1984), l’évaluation des enseignements représente un phénomène multidimensionnel complexe. Les recherches de Grabbe (2003) à l’Université de Münster ont mis en exergue huit dimensions fondamentales de la qualité des cours. Le MFE-ZRe isole le segment particulier des séminaires participatifs pour formaliser une mesure adaptée au paradigme de l’alignement constructif de Biggs, reliant explicitement les objectifs pédagogiques, les activités d’apprentissage des étudiants et l’évaluation continue.

7. Validité / Validity

L’évaluation des propriétés de validité du MFE-ZRe a été menée dans le respect des standards méthodologiques psychométriques, tout en tenant compte des défis inhérents à l’évaluation pédagogique soulignés par Marsh (1984), où une multiplicité de facteurs exogènes (taille du groupe, prérequis individuels, thématique du cours) module les scores observés.

Validité de contenu

La validité de contenu repose sur une genèse empirique rigoureuse. Initialement dérivé d’un questionnaire global de 29 items élaboré par Grabbe (2003) pour couvrir huit dimensions de la qualité pédagogique, le module a été raffiné à la suite de consultations approfondies avec des enseignants-chercheurs de l’Institut de psychologie. Ces entretiens ont révélé que les instruments standardisés généralistes échouaient à saisir les variations didactiques propres aux différentes méthodologies de séminaire. Les items ont donc été rédigés pour refléter fidèlement les pratiques réelles d’élaboration et de restitution des exposés académiques, garantissant une couverture intégrale du domaine comportemental ciblé.

Validité convergente et critérielle

Afin d’examiner la validité empirique des deux sous-échelles, Grötemeier et Thielsch ont analysé les patterns de corrélation bivariée entre les scores sommés des sous-échelles (« Kompetenzerwerb » et « Dozent ») et trois critères externes mesurés au sein du système d’évaluation PsyEval :

• L’évaluation globale du cours (item issu du module socle MFE-Sr).
• Le succès d’apprentissage auto-évalué (item issu du module socle MFE-Sr).
• L’évaluation globale de la qualité des exposés (mesurée par l’Item 13 du module MFE-ZRe sur le barème standardisé de 0 à 15 points du cycle terminal des lycées allemands).

Les résultats empiriques (tous significatifs à p < 0,01) confirment des associations hautement cohérentes sur le plan théorique :

• La sous-échelle Kompetenzerwerb présente de fortes corrélations positives avec le succès d’apprentissage auto-évalué (r = 0,54), avec l’évaluation globale du séminaire (r = 0,55) et avec la note globale de qualité des exposés (r = 0,50). Ces liens substantiels attestent que le sentiment de développement des compétences personnelles constitue un déterminant prépondérant de la réussite perçue du cours.
• La sous-échelle Unterstützung durch den Dozenten affiche des corrélations positives modérées avec le succès d’apprentissage (r = 0,35), l’évaluation globale de l’enseignement (r = 0,32) et la qualité globale des exposés (r = 0,28).

Ces écarts de magnitude corrélationnelle confirment la validité divergente/différentielle des deux dimensions : bien que l’aide de l’enseignant contribue positivement au climat global de la classe, ce sont les gains réels d’apprentissage et l’engagement personnel des étudiants qui expliquent la part la plus importante de la variance du jugement pédagogique global.

8. Fidélité / Reliability

La fidélité du MFE-ZRe a été évaluée sous l’angle de la cohérence interne des sous-échelles au moyen du coefficient alpha de Cronbach. Les analyses ont été conduites sur un échantillon de N = 331 évaluations complètes recueillies dans des séminaires universitaires.

Pour la sous-échelle Soutien par l’enseignant (Unterstützung durch den Dozenten, composée de 3 items), le coefficient alpha de Cronbach obtenu est de 0,68. Bien que légèrement inférieur au seuil conventionnel de 0,70 préconisé pour des diagnostics individuels à fort enjeu clinique ou de sélection, ce niveau de fidélité est documenté comme pleinement satisfaisant dans le cadre d’évaluations collectives et formatives agrégées à l’échelle d’un cours universitaire (Thielsch & Weltzin, 2012). Les indices de discrimination corrigés des items (Trennschärfe, corrélation item-total corrigée) s’échelonnent entre 0,44 et 0,58 :

• Item 4 (Temps consacré) : r_it = 0,44 ; alpha si item supprimé = 0,68.
• Item 5 (Suggestions sur le contenu) : r_it = 0,58 ; alpha si item supprimé = 0,48 (soulignant le caractère névralgique de cet item pour la consistance de l’échelle).
• Item 8 (Complément expert) : r_it = 0,54 ; alpha si item supprimé = 0,55.

Pour la sous-échelle Acquisition de compétences (Kompetenzerwerb, composée de 5 items), le coefficient alpha de Cronbach atteint 0,76, témoignant d’une bonne homogénéité psychométrique. Les coefficients de discrimination item-total corrigés sont robustes, compris entre 0,44 et 0,63 :

• Item 6 (Importance accordée à la réussite) : r_it = 0,44 ; alpha si item supprimé = 0,75.
• Item 7 (Feedback utile) : r_it = 0,49 ; alpha si item supprimé = 0,73.
• Item 9 (Compétence d’analyse de textes) : r_it = 0,58 ; alpha si item supprimé = 0,70.
• Item 10 (Aptitudes rhétoriques) : r_it = 0,63 ; alpha si item supprimé = 0,68.
• Item 11 (Techniques de présentation) : r_it = 0,52 ; alpha si item supprimé = 0,73.

Ces métriques démontrent que chaque énoncé contribue de façon significative à la variance du construit sous-jacent sans redondance excessive.

9. Analyse factorielle / Factor Analysis

La structure dimensionnelle du MFE-ZRe a été éprouvée par une analyse factorielle exploratoire (AFE) utilisant la méthode d’extraction en axes principaux (Principal Axis Factoring) combinée à une rotation oblique Promax, menée sur l’échantillon d’étalonnage (N = 331). Le choix d’une rotation oblique était théoriquement motivé par l’interdépendance attendue entre la qualité de l’encadrement professoral et l’apprentissage effectif des étudiants.

L’application du critère de Kaiser-Guttman (valeurs propres initiales supérieures à 1) indique sans ambiguïté une solution factorielle bidimensionnelle :

• Le premier facteur présente une valeur propre de 3,27 et explique à lui seul 40,6 % de la variance globale.
• Le second facteur présente une valeur propre de 1,15 et restitue 14,3 % de la variance supplémentaire.
• Ensemble, ces deux composantes expliquent 54,9 % de la variance totale des scores. La corrélation interfactorielle s’établit à r = 0,58 (p < 0,01), confirmant la pertinence de la rotation oblique.

La structure factorielle montre une configuration claire bien que caractérisée par des saturations secondaires notables. Les saturations factorielles (estimées via le logiciel AMOS) se répartissent comme suit :

• Facteur I (Acquisition de compétences) : saturé prioritairement par l’Item 10 (rhétorique, saturation = 0,77), l’Item 9 (textes scientifiques, saturation = 0,73), l’Item 11 (techniques de présentation, saturation = 0,60), l’Item 7 (feedback, saturation = 0,48) et l’Item 6 (importance du succès, saturation = 0,46).
• Facteur II (Soutien de l’enseignant) : saturé fortement par l’Item 5 (suggestions conceptuelles, saturation = 0,78), l’Item 8 (compléments d’expertise, saturation = 0,55) et l’Item 4 (temps alloué, saturation = 0,54).

Les auteurs soulignent que l’ensemble des items présente des saturations croisées secondaires supérieures à 0,30 sur l’autre facteur, ce qui reflète l’imbrication systémique entre l’activité d’encadrement de l’enseignant et l’expérience d’acquisition de compétences vécue par l’étudiant. Les concepteurs recommandent la reconduction d’analyses confirmatoires sur des échantillons multicentriques élargis pour consolider la robustesse structurelle du modèle.

10. Instrument de mesure / Instrument

L’instrument se présente sous la forme d’un protocole informatisé auto-administré sans consigne autonome spécifique, étant conçu pour s’insérer immédiatement à la suite des questionnaires généraux d’évaluation des séminaires (MFE-Sr) :

• Type de test : Batterie d’évaluation pédagogique standardisée en ligne (auto-évaluation et hétéro-évaluation didactique).
• Format d’administration : Plateforme web institutionnelle (interface développée en PHP couplée à une base de données MySQL).
• Nombre total d’items : 13 items numérotés selon leur ordonnancement séquentiel dans le système : 8 items évaluatifs d’échelles (items 4 à 11), 3 items descriptifs/contextuels (items 1 à 3), 1 item didactique isolé (item 12) et 1 item de notation globale sommative (item 13).
• Échelle de réponse (Items 4 à 11) : Échelle de Likert à 7 points : 1 = « stimme gar nicht zu » (pas du tout d’accord), 2 = « stimme nicht zu » (pas d’accord), 3 = « stimme eher nicht zu » (plutôt pas d’accord), 4 = « neutral » (neutre), 5 = « stimme eher zu » (plutôt d’accord), 6 = « stimme zu » (d’accord), 7 = « stimme vollkommen zu » (tout à fait d’accord). Une modalité additionnelle « nicht sinnvoll beantwortbar » (non évaluable de manière pertinente) permet de prévenir les réponses forcées non informatives.
• Format des items contextuels et globaux :
  • Items 1 et 2 : Champs textuels ouverts numériques (nombre d’exposés, durée moyenne en minutes).
  • Item 3 : Échelle ordinale d’appréciation en 5 points (« viel zu lang » [beaucoup trop long], « zu lang » [trop long], « angemessen » [adapté], « zu kurz » [trop court], « viel zu kurz » [beaucoup trop court]).
  • Item 12 : Échelle de Likert en 7 points identique aux items 4-11.
  • Item 13 : Échelle de notation académique standardisée du degré supérieur allemand (gymnasiale Oberstufe) graduée de 0 (« ungenügend » [insuffisant]) à 15 (« sehr gut + » [très bien +]).
• Cotation et calcul des scores : En raison de la structure quasi-unidimensionnelle des deux sous-échelles, les scores peuvent être agrégés par sommation arithmétique ou moyennage des items contributifs : score « Soutien enseignant » (moyenne des items 4, 5, 8 ; échelle de 1 à 7) et score « Compétences » (moyenne des items 6, 7, 9, 10, 11 ; échelle de 1 à 7). Les résultats sont restitués à l’enseignant sous forme de profils graphiques comparatifs inter-cours via le tableau de bord en ligne PsyEval.

11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year

Le module MFE-ZRe a été formalisé à la suite des travaux de Grabbe (2003) et Moeck et Thielsch (2004), puis intégré de manière pérenne dans les campagnes semestrielles d’évaluation depuis le semestre d’hiver 2003/2004. Une révision psychométrique complète de l’ensemble des modules a été finalisée au semestre d’été 2010 :

• Année d’introduction officielle : 2003 (révision complète en 2010 ; documentation systématique ZIS en 2013).
• Statut des droits et conditions d’utilisation : L’outil est protégé par le droit d’auteur académique de l’Université de Münster. Il est mis à la disposition gratuite des chercheurs, praticiens de l’évaluation pédagogique et institutions académiques pour des finalités non commerciales de recherche et d’assurance qualité universitaire.
• Tarification : Accès libre (open access académique). Aucun frais de licence n’est requis pour la consultation ou l’adaptation dans un cadre universitaire à but non lucratif.
• Contact institutionnel : Toute demande d’autorisation formelle, de conseil pour l’implémentation logicielle ou de réutilisation institutionnelle doit être adressée au Dr. Meinald Thielsch ([email protected]) ou via le centre PsyEval de l’Institut de psychologie de l’Université de Münster.

12. Références / References

Les références ci-dessous documentent le développement de l’échelle, ses soubassements théoriques et les méthodes d’évaluation en ligne :

• Göritz, A. S., Soucek, R., & Bacher, J. (2005). Zur Qualität webbasierter Lehrevaluationen. In A. S. Göritz (Ed.), Webbasierte Befragungen in der Praxis. Lengerich: Pabst Science Publishers.
• Grabbe, Y. (2003). Konstruktion eines Fragebogens zur Evaluation von Seminaren am Fachbereich Psychologie der Westfälischen Wilhelms-Universität Münster (Diplomarbeit, unveröffentlicht). Westfälische Wilhelms-Universität Münster.
• Haaser, P., Thielsch, M. T., & Moeck, A. (2007). PsyEval – ein internetgestütztes System zur Qualitätssicherung der Lehre an Hochschulen. In M. Krämer, K. Preiser, & K. Brusdeylins (Eds.), Psychologiedidaktik und Evaluation VI (pp. 379–386). Aachen: Shaker.
• Marsh, H. W. (1984). Students’ evaluations of university teaching: Dimensionality, reliability, validity, potential baises, and utility. Journal of Educational Psychology, 76(5), 707–754. https://doi.org/10.1037/0022-0663.76.5.707
• Moeck, A., & Thielsch, M. T. (2004). Lehrevaluation im Fach Psychologie an der Westfälischen Wilhelms-Universität Münster (Projektbericht). Münster: Institut für Psychologie.
• Rindermann, H. (1996). Untersuchungen zur Validität von Studentischen Lehrevaluationen. Landau: Verlag Empirische Pädagogik.
• Schmidt, B., & Loßnitzer, T. (2010). Instrumente zur Lehrevaluation an deutschen Hochschulen: Ein Überblick über standardisierte Erhebungsinstrumente. Universität Münster, Zentrum für Hochschullehre.
• Thielsch, M. T., & Weltzin, S. (2012). Online-Lehrevaluation: Best Practice und Perspektiven am Beispiel des Systems PsyEval. In M. Krämer, S. Dutke, & J. Barenberg (Eds.), Psychologiedidaktik und Evaluation IX (pp. 219–227). Aachen: Shaker.

13. Questions et items du questionnaire / Scale Items