Questionnaire de Münster pour l’évaluation des tutorats (MFE-T)

1. Résumé / Abstract

Le Questionnaire de Münster pour l’évaluation des tutorats (Münster questionnaire for the evaluation of tutorials ou MFE-T) constitue un module psychométrique standardisé conçu pour évaluer systématiquement l’efficacité, la qualité pédagogique et la pertinence des séances de tutorat au sein de l’enseignement supérieur. Développé initialement à la Westfälische Wilhelms-Universität Münster par Meinald Thielsch et ses collaborateurs dans le cadre du système global d’évaluation des enseignements Münsteraner Fragebogen zur Evaluation (MFE), cet instrument vise à combler une lacune méthodologique majeure : alors que les cours magistraux et les séminaires font l’objet d’évaluations universitaires régulières, les tutorats animés par des pairs étudiants (student tutors) étaient fréquemment exclus des protocoles de rétroaction standardisés en raison de leur flexibilité organisationnelle et pédagogique.

Dans sa forme opérationnelle standardisée, le MFE-T comprend 9 items évaluant les facettes centrales du soutien tutorial. L’instrument analyse trois dimensions fondamentales : la compétence didactique (capacité d’explication pédagogique, diversité méthodologique et encouragement de la participation active), l’engagement et l’encadrement (disponibilité, réactivité face aux difficultés de compréhension et préparation des séances) ainsi que l’utilité et l’articulation avec l’enseignement magistral (cohérence avec le cours, contribution à l’assimilation conceptuelle et efficacité dans la préparation aux examens). Les réponses sont recueillies au moyen d’une échelle de Likert en 7 points complétée par une modalité d’évaluation neutre/non applicable (« non évaluable de manière pertinente »).

Les études de validation psychométrique démontrent une excellente cohérence interne (coefficients alpha de Cronbach oscillant généralement entre 0,70 et 0,83 selon les sous-échelles), une structure factorielle stable établie par analyse factorielle exploratoire et confirmatoire, ainsi qu’une remarquable validité de construit (validité convergente avec les critères globaux d’appréciation académique et validité divergente différenciant les formats de tutorats intégrés versus indépendants). Le MFE-T représente un outil diagnostique robuste et parcimonieux au service de l’évaluation pédagogique et du pilotage des ressources universitaires.

2. Mots-clés / Keywords

Évaluation des enseignements, tutorat universitaire, enseignement par les pairs, psychométrie, docimologie, didactique universitaire, qualité de l’enseignement, MFE-T, fidélité psychométrique, validité convergente, apprentissage coopératif, formation supérieure.

3. Auteurs / Authors

Le développement psychométrique, l’implémentation opérationnelle et la validation empirique du MFE-T ont été conduits par des chercheurs et méthodologistes rattachés au département de psychologie de la Westfälische Wilhelms-Universität Münster (Allemagne) :

• Dr. Meinald T. Thielsch : Chercheur senior et enseignant-chercheur en psychologie différentielle, psychologie du travail et des organisations, et méthodologie de l’évaluation pédagogique, Institut für Psychologie, Fliednerstr. 21, 48149 Münster, Allemagne. Courriel : [email protected].
• Tina Dusend : Psychologue chercheuse, spécialiste de l’évaluation des cursus d’enseignement et des systèmes d’assurance qualité en milieu académique, Institut de psychologie, Université de Münster.
• Ina Grötemeier : Spécialiste en ingénierie de l’évaluation pédagogique et plateforme en ligne PsyEval, Institut de psychologie, Université de Münster.

Les investigations techniques et informatiques ayant permis le déploiement en ligne continu et transversal du dispositif reposent sur les infrastructures modulaires du centre d’évaluation pédagogique facultaire (PsyEval).

4. Objectif / Purpose

L’objectif fondamental du MFE-T est de fournir aux établissements d’enseignement supérieur une mesure standardisée, rapide, fiable et valide de l’efficacité pédagogique des tutorats d’accompagnement. Dans le cadre de la massification universitaire et de l’implémentation de réformes structurelles (telles que le système de Bologne en Europe ou l’allocation de budgets spécifiques issus des droits de scolarité), le recours au peer learning (apprentissage par les pairs) s’est imposé comme un levier didactique incontournable. Les tuteurs étudiants, issus de semestres plus avancés, remplissent des fonctions multiples : vulgarisation de concepts théoriques complexes, animation d’ateliers méthodologiques, encadrement de séances de travaux dirigés, soutien psychopédagogique des étudiants de première année et entraînement ciblé aux examens.

Toutefois, en dépit de leur rôle déterminant, les tutorats sont fréquemment négligés dans les dispositifs traditionnels d’évaluation des cours magistraux et séminaires. Les échelles standardisées conventionnelles (axées principalement sur la scénarisation générale d’un cours par un professeur titulaire) se révèlent inadaptées pour saisir les dynamiques interactives et horizontales propres à l’accompagnement par un pair. Le MFE-T a ainsi été conçu pour répondre à trois impératifs cardinaux :

• Assurance qualité formative : Fournir une rétroaction structurée et exploitable aux tuteurs étudiants, favorisant la réflexivité pédagogique et l’ajustement de leurs stratégies d’animation sans revêtir un caractère punitif.
• Pilotage institutionnel et allocation des ressources : Permettre aux coordinateurs pédagogiques, directions d’UFR et commissions de formation d’identifier les cours nécessitant impérativement un renfort de tutorat et d’allouer les enveloppes budgétaires de manière équitable et rationnelle, fondée sur des données empiriques de besoin.
• Recherche docimologique et psychopédagogique : Analyser les déterminants de la performance et de la réussite aux examens en fonction de l’intensité et de la qualité perçue de l’encadrement tutorial, en contrôlant les biais inhérents aux méthodes d’évaluation par sondage.

Grâce à son format court de 9 items, le MFE-T s’intègre harmonieusement comme un sous-module contextuel au terme des évaluations globales de cours, évitant ainsi la fatigue cognitive des répondants tout en maximisant les taux de complétion.

5. Construit psychologique / Construct

Le MFE-T opérationnalise l’évaluation de la prestation tutorale non pas comme un phénomène monolithique, mais comme un construit multidimensionnel articulé autour de l’alignement pédagogique, des compétences d’animation socio-constructivistes et de l’utilité perçue de l’intervention. L’architecture factorielle du MFE-T distingue trois dimensions majeures complémentaires :

1. Compétence didactique (Items 1, 2, 3)

Cette dimension évalue la maîtrise des processus de transposition et de médiation didactiques chez le tuteur. Contrairement à l’expertise scientifique de pointe attendue d’un professeur d’université, le tuteur doit exceller dans la zone proximale de développement (Vygotski) en reformulant de manière intelligible les théories abstraites. Ce domaine comprend la capacité à vulgariser les contenus complexes (Item 1), la diversification des méthodes pédagogiques (études de cas, résolution collaborative de problèmes, quiz) (Item 2), ainsi que la propension à encourager activement l’engagement interactif des participants (Item 3).

2. Engagement et encadrement (Items 4, 5, 6)

L’alliance pédagogique et le climat relationnel constituent le cœur de l’apprentissage par les pairs. Cette dimension examine la posture professionnelle et affective du tuteur. Elle s’intéresse à la disponibilité empathique face aux questions et blocages individuels des étudiants (Item 4), à la rigueur de la préparation en amont des séances (Item 5), et à l’énergie, l’enthousiasme et la motivation intrinsèque manifestés lors des interventions (Item 6). Une note élevée sur cette sous-échelle reflète un climat de sécurité psychologique où l’apprenant se sent légitime pour exposer ses erreurs et solliciter de l’aide.

3. Utilité et alignement sur l’enseignement magistral (Items 7, 8, 9)

Cette composante opérationnalise le concept d’alignement constructif (Biggs, 1996). Un tutorat de grande qualité relationnelle perdrait sa pertinence s’il fonctionnait en vase clos, déconnecté des attendus de validation académique. Cette sous-échelle mesure l’articulation harmonieuse entre le contenu du tutorat et celui du cours magistral délivré par l’enseignant (Item 7), la contribution substantielle des séances à la compréhension en profondeur des notions théoriques (Item 8), ainsi que la valeur instrumentale des exercices pratiques pour la préparation méthodique des épreuves d’évaluation sommative (Item 9).

6. Cadre théorique / Theoretical Framework

L’ancrage théorique du MFE-T repose sur la convergence de la psychologie cognitive, du socio-constructivisme et des modèles modernes d’évaluation de l’enseignement universitaire :

Le modèle de l’apprentissage par les pairs (Peer Tutoring & Cognitive Congruence)

Le postulat central formulé par Topping (1996) et approfondi par Roscoe et Chi (2007, 2008) démontre que les tuteurs bénéficient d’une congruence cognitive naturelle avec leurs pairs étudiants. Ayant surmonté récemment les difficultés conceptuelles inhérentes aux matières complexes (statistiques, neurosciences, méthodologie expérimentale), les tuteurs partagent le même univers sémantique et la même perspective cognitive que les apprenants. Ils identifient avec une acuité accrue les erreurs types et les représentations erronées, ce qui rend leurs explications souvent plus accessibles que celles d’experts chevronnés souffrant de la « malédiction de la connaissance » (curse of knowledge).

La théorie de l’alignement constructif de Biggs

John Biggs stipule que l’apprentissage en profondeur se produit lorsque les activités d’enseignement, l’environnement d’apprentissage et les modalités d’évaluation sont rigoureusement alignés. Le tuteur agit comme le connecteur privilégié entre l’exposition passive du cours magistral et l’appropriation active requise par les épreuves de certification. Les items du MFE-T mesurant la concordance avec les cours et l’entraînement aux examens reflètent directement cet impératif d’alignement systémique.

La docimologie de l’évaluation par les étudiants (SEEs)

Sur le plan psychométrique, le MFE-T s’inscrit dans la lignée des travaux pionniers de Marsh (1984, 2007) et de Rindermann (2009) sur les Students’ Evaluations of Educational Quality (SEEQ). Ces auteurs ont réfuté l’hypothèse selon laquelle les jugements étudiants ne refléteraient que des concours de popularité superficiels, démontrant au contraire que des instruments validés multidimensionnels mesurent fidèlement l’efficacité pédagogique objective et prédisent le gain cognitif réel des étudiants.

7. Validité / Validity

La validité psychométrique du MFE-T a fait l’objet d’examens méthodologiques minutieux au fil de plusieurs cohortes universitaires :

Validité de contenu et d’apparence

La sélection initiale des items a été conduite selon une approche inductive et experte, combinant une revue systématique de la littérature docimologique internationale avec l’analyse empirique de versions pilotes administrées entre 2008 et 2010 à l’Institut de Psychologie de Münster (Thielsch et al., 2010). Chaque énoncé a été formulé pour éviter les formulations équivoques, les doubles négations et les biais de désirabilité sociale.

Validité convergente

La validité convergente a été démontrée par des associations statistiques fortes et significatives entre les scores factoriels du questionnaire et les indices globaux de satisfaction pédagogique. Les corrélations observées entre les scores moyens des dimensions et l’appréciation globale sommative du tutorat (notée sur une échelle de notation scolaire standardisée de 0 à 15 points) atteignent des niveaux élevés (variant de $r = 0{,}62$ à $r = 0{,}66$, $p < 0{,}001$). Ces corrélations substantielles confirment que le MFE-T capture fidèlement le noyau dur de l'efficacité tutorale perçue.

Validité divergente et sensibilité contextuelle

La validité divergente a été mise en lumière par l’analyse de l’intégration organisationnelle des tutorats. Lorsque les tutorats sont directement intégrés au déroulement des séances de séminaire (ex. supervision de jeux de rôle en petits groupes), la corrélation entre l’évaluation du tutorat et celle de l’enseignant titulaire est modérée et significative ($r = 0{,}38$ à $0{,}51$). En revanche, lorsque les tutorats fonctionnent de manière autonome et parallèle (ex. séances d’exercices statistiques hebdomadaires non obligatoires), ces corrélations tombent à des seuils statistiquement non significatifs. Ce résultat apporte la preuve que les répondants distinguent rigoureusement la prestation spécifique du tuteur de celle du professeur, attestant de la validité de discriminant de l’échelle.

8. Fidélité / Reliability

Les propriétés de cohérence interne du MFE-T satisfont aux exigences les plus strictes des standards psychométriques pour des échelles de dépistage court :

• Cohérence interne (Alpha de Cronbach) : Malgré le nombre restreint d’items (3 items par sous-échelle), les coefficients d’homogénéité interne sont systématiquement satisfaisants à excellents. Dans l’échantillon d’étalonnage ($N = 374$), les valeurs d’alpha de Cronbach atteignent $\alpha = 0{,}70$ pour les composantes de soutien/encadrement et montent jusqu’à $\alpha = 0{,}83$ pour les dimensions évaluant le besoin et l’utilité didactique.
• Indice de discrimination des items (Trennschärfe) : Les corrélations item-total corrigées ($r_{it}$) sont toutes très satisfaisantes, s’échelonnant de $0{,}49$ à $0{,}70$. Ces valeurs confirment que chaque énoncé contribue de façon substantielle et non redondante à la variance de son construit d’appartenance.
• Stabilité de mesure : L’analyse des indices de consistance lors de réplications semestrielles successives à l’Université de Münster confirme la robustesse inter-cohortes des estimateurs de fidélité.

9. Analyse factorielle / Factor Analysis

La structure dimensionnelle de l’instrument a été vérifiée empiriquement au moyen d’analyses factorielles exploratoires (AFE) par extraction en axes principaux, associées à des rotations obliques Promax, puis validées par modélisation en équations structurelles :

Exploration factorielle et détermination dimensionnelle

L’analyse du diagramme d’éboulis (Scree plot de Cattell) couplée à l’analyse parallèle de Horn corrobore la pertinence des regroupements dimensionnels postulés. Les facteurs extraits expliquent une proportion remarquable de la variance totale : le premier facteur principal affiche une valeur propre (eigenvalue) de 2,9 et explique à lui seul 48,2 % de la variance globale, tandis que les facteurs subsidiaires complètent l’explication de la variance à hauteur de plus de 68 % cumulés.

Saturations factorielles (Factor Loadings)

Les saturations des items sur leurs facteurs cibles (déterminées sous AMOS et SPSS) oscillent entre 0,61 et 0,91, sans interférence croisée significative (aucune saturation secondaire excédant 0,30 sur les facteurs alternatifs) :

• Item 1 (Explications compréhensibles) : saturation = 0,75
• Item 2 (Variété méthodique) : saturation = 0,61
• Item 3 (Participation active) : saturation = 0,62
• Item 4 (Réponse aux questions) : saturation = 0,65
• Item 5 (Préparation) : saturation = 0,91
• Item 6 (Engagement et motivation) : saturation = 0,70
• Items 7, 8 et 9 (Utilité, alignement, préparation examens) : saturations comprises entre 0,68 et 0,85.

Les corrélations inter-facteurs ($r \approx 0{,}44$) confirment que bien que distinctes, les dimensions mesurées convergent de manière cohérente vers un construit sous-jacent d’efficacité pédagogique globale.

10. Instrument de mesure / Instrument

• Type d’évaluation : Auto-questionnaire psychométrique standardisé d’évaluation pédagogique par les étudiants (Student Evaluation of Teaching).
• Format d’administration : Principalement informatisé en ligne via des plateformes d’évaluation universitaire (PHP/MySQL, LMS, PsyEval), administrable également en version papier-crayon.
• Nombre d’items : 9 items d’évaluation formative organisés en 3 sous-échelles de 3 items.
• Échelle de réponse : Échelle ordinale de Likert en 7 points : 1 = « stimme gar nicht zu » (pas du tout d’accord), 2 = « stimme nicht zu » (pas d’accord), 3 = « stimme eher nicht zu » (plutôt pas d’accord), 4 = « neutral » (neutre), 5 = « stimme eher zu » (plutôt d’accord), 6 = « stimme zu » (d’accord), 7 = « stimme vollkommen zu » (tout à fait d’accord). Une modalité additionnelle « nicht sinnvoll beantwortbar » (non évaluable de manière pertinente) est systématiquement disponible.
• Cotation et scoring : Les scores sont calculés par la moyenne arithmétique des items de chaque sous-échelle ou par le calcul de la moyenne globale de l’ensemble des 9 items. Aucun item n’est inversé. Les scores moyens oscillant entre 1,00 et 3,50 signalent un déficit pédagogique sévère ; les scores entre 3,51 et 5,00 indiquent une prestation moyenne méritant des ajustements didactiques ; les scores supérieurs à 5,50 attestent d’une excellente efficacité tutorale.

11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year

• Année de développement : 2008 – 2010 (Publication de référence documentée à la Westfälische Wilhelms-Universität Münster).
• Droits d’utilisation et licence : Le questionnaire MFE-T est mis à la libre disposition des institutions universitaires, enseignants et chercheurs à des fins de recherche académique et d’assurance qualité institutionnelle, sans frais de licence.
• Conditions d’usage : L’utilisation de l’instrument requiert la citation explicite de ses auteurs et des publications sources associées. Toute modification structurelle ou adaptation linguistique doit faire l’objet d’une mention claire dans les rapports méthodologiques.

12. Références / References

• Biggs, J. (1996). Enhancing teaching through constructive alignment. Higher Education, 32(3), 347–364. https://doi.org/10.1007/BF00138871
• Gediga, G., Hamborg, K.-C., & Willumeit, K. (2000). Das Kieler Evaluationsmodell für Lehrveranstaltungen (KIEL). In K. Willumeit & K.-C. Hamborg (Eds.), Evaluation von Lehre und Studienbedingungen (pp. 41–64). Waxmann.
• Gollwitzer, M., & Schlotz, W. (2003). Das Trierer Inventar zur Lehrevaluation (TRIL). Diagnostica, 49(1), 34–44. https://doi.org/10.1026//0012-1924.49.1.34
• Marsh, H. W. (1984). Students’ evaluations of university teaching: Dimensionality, reliability, validity, potential baises, and utility. Journal of Educational Psychology, 76(5), 707–754. https://doi.org/10.1037/0022-0663.76.5.707
• Marsh, H. W. (2007). Students’ evaluations of university teaching: A multidimensional perspective. In R. P. Perry & J. C. Smart (Eds.), The scholarship of teaching and learning in higher education: An evidence-based approach (pp. 319–384). Springer. https://doi.org/10.1007/1-4020-5742-3_8
• Rindermann, H. (2009). Lehrevaluation: Einführung und Handbuch zu Forschung und Praxis (2. Aufl.). Empirische Pädagogik.
• Roscoe, R. D., & Chi, M. T. H. (2007). Understanding tutor learning: Knowledge-building and knowledge-telling in peer-tutors’ explanations and questions. Review of Educational Research, 77(4), 534–574. https://doi.org/10.3102/0034654307309920
• Roscoe, R. D., & Chi, M. T. H. (2008). Tutor benefits and tutor learning: The role of preparing to teach, self-explanation, and questioning. Journal of the Learning Sciences, 17(3), 321–370. https://doi.org/10.1080/10508400802224840
• Schmidt, B., & Loßnitzer, T. (2010). Lehrevaluation an deutschen Hochschulen: Stand und Entwicklungstendenzen. Universitätsverlag Münster.
• Souvignier, E., & Gold, A. (2002). Qualitätssicherung in der Hochschullehre: Effekte von Tutorenprogrammen. Zeitschrift für Pädagogische Psychologie, 16(3/4), 183–193.
• Staufenbiel, T. (2000). Fragebogen zur Evaluation von universitären Lehrveranstaltungen (FEVOR). Diagnostica, 46(4), 169–181. https://doi.org/10.1026//0012-1924.46.4.169
• Thielsch, M. T., Dusend, T., & Grötemeier, I. (2010). Münsteraner Fragebogen zur Evaluation von Tutorien (MFE-T). Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis171
• Topping, K. J. (1996). The effectiveness of peer tutoring in higher and further education: A typological review. Higher Education, 32(3), 321–345. https://doi.org/10.1007/BF00138870

13. Questions et items du questionnaire / Scale Items