Module complémentaire enseignement assisté par ordinateur – Questionnaire de Münster pour l’évaluation (MFE-ZcL)

1. Résumé / Abstract

Le module complémentaire relatif à l’enseignement assisté par ordinateur du Questionnaire d’évaluation de Münster (Münsteraner Fragebogen zur Evaluation – Zusatzmodul computergestützte Lehre, désigné par le sigle MFE-ZcL) constitue un instrument psychométrique standardisé élaboré au sein du Département de psychologie de l’Université de Münster. Conçu pour s’intégrer de manière modulaire aux batteries d’évaluation de base des enseignements universitaires (spécifiquement le module d’évaluation des séminaires MFE-Sr), cet outil a pour finalité d’évaluer la qualité didactique, technique et pédagogique des dispositifs de formation recourant à l’outil informatique. La structure du module repose sur six items : cinq items fondamentaux (items 2 à 6) mesurant une dimension unidimensionnelle de qualité pédagogique assistée par ordinateur, complétés par un item explorant le rythme d’apprentissage (item 1).

L’administration des items 2 à 6 s’effectue au moyen d’une échelle de réponse en sept points de type Likert, allant de 1 (« fortement en désaccord » / stimme gar nicht zu) à 7 (« tout à fait d’accord » / stimme vollkommen zu), assortie d’une option neutre médiane (« neutre » / neutral) et d’une modalité technique spécifique d’échappement permettant d’indiquer que la question ne s’applique pas (« évaluation non pertinente » / nicht sinnvoll beantwortbar). L’item complémentaire relatif au tempo des manipulations techniques adopte une échelle bipolaire ordinale en cinq points (« beaucoup trop lent », « trop lent », « adéquat », « trop rapide », « beaucoup trop rapide »). Sur le plan des qualités métrologiques, l’instrument présente une consistance interne robuste avec un coefficient alpha de Cronbach (α) de .84. L’analyse factorielle exploratoire confirme une structure strictement unidimensionnelle pour les items 2 à 6, expliquant 52,7 % de la variance totale avec des saturations factorielles comprises entre .57 et .80. Les analyses de validité convergente et divergente montrent des corrélations substantielles avec les dimensions globales de la qualité pédagogique, de l’adéquation du matériel et du sentiment d’auto-efficacité, tout en démontrant une excellente sensibilité discriminative entre différentes sessions de cours (η² = .52).

2. Mots-clés / Keywords

Évaluation des enseignements par les étudiants, enseignement assisté par ordinateur, technologies éducatives, psychométrie, Münsteraner Fragebogen zur Evaluation, didactique universitaire, validation d’échelle, apprentissage numérique, auto-efficacité informatique, assurance qualité dans l’enseignement supérieur.

3. Auteurs / Authors

Le développement, la standardisation et la validation psychométrique du module MFE-ZcL ont été conduits par des chercheurs rattachés au Département de psychologie de la Westfälische Wilhelms-Universität Münster (Allemagne) :

• Dr. phil. Dipl.-Psych. Meinald T. Thielsch : Chercheur principal et maître de conférences en psychologie du travail, des organisations et psychologie des médias, Institut de psychologie, Université de Münster (E-mail : [email protected] ; Plateforme : www.uni-muenster.de/PsyEval).
• B. Sc. Ina Stegemöller : Collaboratrice scientifique et analyste psychométrique, Institut de psychologie, Université de Münster.
• Contributions fondatrices initiales : T. Grabbe (travaux initiaux d’ingénierie des items de séminaire, 2003) et C. Moeck (développement de l’infrastructure d’évaluation numérique et architecture des premiers modules, 2004).

4. Objectif / Purpose

Dans le contexte contemporain de modernisation des universités et de numérisation croissante des pratiques pédagogiques, l’évaluation des enseignements par les étudiants (EEE) constitue une composante indispensable des dispositifs d’assurance qualité et de développement professionnel continu du corps professoral. Selon les analyses programmatiques de Rindermann (1996), une démarche d’évaluation systématique poursuit des objectifs multiples : identifier précisément les forces et faiblesses didactiques à l’échelle d’un cours, d’un cursus ou d’un établissement, favoriser le dialogue constructif entre enseignants et apprenants, guider l’allocation des ressources pédagogiques et orienter les actions de perfectionnement didactique ciblé.

Cependant, l’introduction de l’informatique dans les séminaires universitaires — qu’il s’agisse de l’apprentissage de progiciels statistiques (ex. R, SPSS), d’outils de programmation ou de dispositifs de simulation — impose des exigences didactiques spécifiques qui échappent aux questionnaires d’évaluation généralistes. Les instruments d’évaluation conventionnels pèchent fréquemment soit par une trop grande abstraction, rendant impossible l’analyse des spécificités techniques, soit par une longueur excessive qui compromet la motivation des étudiants lorsqu’ils doivent évaluer simultanément plusieurs enseignements en fin de semestre (Schmidt & Loßnitzer, 2010).

L’objectif fondamental du MFE-ZcL est de fournir un module d’évaluation extrêmement court, ciblé et standardisé, permettant de mesurer avec précision l’efficacité de l’accompagnement pédagogique en environnement informatisé sans alourdir le temps de passation. Le module permet aux enseignants de déterminer :

• Si les prérequis informatiques des étudiants étaient adaptés au niveau d’exigence du cours ;
• Si les démonstrations pas-à-pas réalisées par l’intervenant étaient claires et compréhensibles ;
• Si le dispositif accordait un temps suffisant à la pratique autonome guidée ;
• Si les apprenants ont développé un sentiment d’auto-efficacité leur permettant de réinvestir ces compétences de façon autonome en dehors du cours ;
• Si le rythme global des manipulations techniques correspondait aux capacités d’assimilation du groupe.

Cet outil trouve ainsi son application directe dans le pilotage de l’enseignement supérieur, la recherche empirique sur l’apprentissage multimédia et les bilans d’innovation techno-pédagogique.

5. Construit psychologique / Construct

Le construit psychologique opérationnalisé par le MFE-ZcL est la qualité didactique de l’enseignement assisté par ordinateur perçue par les apprenants. Loin de mesurer uniquement une appréciation subjective ou un sentiment de satisfaction général, ce construit appréhende l’alignement entre les contraintes cognitives de l’outil numérique, l’étayage pédagogique de l’enseignant et l’acquisition effective de compétences procédurales. Il s’articule autour de plusieurs dimensions interdépendantes réunies sous un facteur structural dominant :

1. Adéquation des prérequis techniques (Item 2)

Cette dimension évalue si les compétences informatiques antérieures de l’étudiant étaient suffisantes pour suivre le séminaire sans rupture cognitive. En psychologie de l’éducation, le décalage entre les exigences techniques préalables et le niveau réel des participants constitue l’une des principales sources d’anxiété informatique et d’abandon cognitif. La mesure de cet aspect permet d’objectiver si les difficultés rencontrées relèvent de la pédagogie de l’enseignant ou d’un défaut de ciblage du public cible.

2. Clarté explicative des procédures algorithmiques et opératoires (Item 3)

L’enseignement assisté par ordinateur exige une décomposition minutieuse des séquences opératoires (navigation dans les interfaces, saisie de commandes, manipulation de données). Cette composante mesure la capacité de l’enseignant à rendre intelligibles les différentes étapes de travail, réduisant ainsi la charge cognitive extrinsèque liée à la manipulation de logiciels complexes.

3. Opportunité de pratique autonome et guidée (Item 4)

L’apprentissage procédural sur ordinateur nécessite impérativement une phase d’expérimentation directe (apprentissage par l’action ou learning-by-doing). Ce construit opérationnalise la présence et la suffisance des temps d’exercices pratiques autonomes encadrés, condition sine qua non de la consolidation de schémas cognitifs stables et de la détection en direct des erreurs de manipulation.

4. Auto-efficacité et transfert des apprentissages (Item 5)

Inspirée des travaux de Bandura sur le sentiment d’efficacité personnelle, cette composante évalue la confiance de l’apprenant dans sa capacité à mobiliser de manière indépendante les acquis du cours face à sa propre machine ou dans un contexte de travail ultérieur. Elle mesure la transition entre la compétence assistée en salle de cours et l’autonomie opératoire (transfert d’apprentissage proactif).

5. Développement perçu de la compétence numérique (Item 6)

Cette dimension quantifie le gain de compétences perçu par l’étudiant dans l’utilisation globale de l’ordinateur, au-delà de la stricte mémorisation d’une tâche logicielle ponctuelle. Elle reflète la contribution de l’enseignement à la littératie numérique de l’étudiant.

6. Rythme d’exécution procédurale (Item 1, indicateur formatif)

Cette composante explore le tempo pédagogique adopté lors de la démonstration et de l’exécution des manipulations sur machine. Traitée de manière autonome en raison de sa nature bipolaire optimale (le score idéal se situant au point central « adéquat »), elle constitue une variable de régulation didactique immédiate pour l’intervenant.

6. Cadre théorique / Theoretical Framework

L’architecture conceptuelle du module MFE-ZcL s’inscrit au carrefour de trois courants théoriques majeurs de la psychologie cognitive et des sciences de l’éducation :

La théorie de la charge cognitive (Cognitive Load Theory)

Formulée initialement par John Sweller et enrichie par les travaux de Mayer sur l’apprentissage multimédia, cette théorie stipule que la mémoire de travail humaine possède une capacité de traitement strictement limitée. En contexte d’enseignement informatisé, l’étudiant est confronté simultanément à trois types de charges :

• La charge intrinsèque, inhérente à la complexité conceptuelle du sujet enseigné ;
• La charge extrinsèque, générée par la complexité de l’interface logicielle, le manque de clarté des consignes ou un tempo d’exposition inadapté ;
• La charge essentielle (ou germane), orientée vers la construction et l’automatisation de schémas cognitifs réutilisables.

Le MFE-ZcL opérationnalise cette dynamique à travers l’évaluation de la décomposition des étapes de travail (réduction de la charge extrinsèque) et le contrôle du tempo (prévention de la surcharge cognitive).

La théorie sociale cognitive et l’auto-efficacité informatique

Conformément aux travaux d’Albert Bandura (1997), le sentiment d’efficacité personnelle (self-efficacy) constitue le déterminant psychologique le plus puissant de la persévérance, de la performance et de la volonté de s’engager dans des tâches complexes. Appliquée aux environnements numériques par Compeau et Higgins (1995) sous le concept de Computer Self-Efficacy, cette approche démontre que la simple transmission d’informations ne suffit pas : la formation doit impérativement susciter chez l’apprenant la conviction intime qu’il maîtrise les opérations requises. L’item 5 du MFE-ZcL (« Je me sens capable de mettre en œuvre de manière autonome sur ordinateur ce qui a été appris dans le séminaire ») représente l’indicateur direct de ce construit.

Les modèles d’évaluation de la qualité de l’enseignement supérieur

Le MFE s’ancre dans les modélisations multidimensionnelles de l’enseignement supérieur développées par Marsh (1984, SEEQ) et adaptées à l’espace germanophone par Rindermann (1996, 2001). Marsh a démontré que la qualité didactique ne peut être réduite à un facteur monolithique mais combine des sous-domaines spécifiques (organisation, interactions, pertinence des supports, niveau d’exigence). Le système modulaire de Münster prolonge ce paradigme en postulant que les contextes didactiques hautement spécialisés nécessitent des instruments satellites standardisés mais modulables, capables d’enrichir le profil d’évaluation sans dénaturer la batterie générale (Moeck & Thielsch, 2004).

7. Validité / Validity

La validation empirique du MFE-ZcL a fait l’objet d’investigations méthodologiques rigoureuses conduites à l’Université de Münster auprès d’un échantillon d’évaluation universitaire standardisé (N = 77 étudiants en psychologie ; 79,2 % de femmes, 20,8 % d’hommes ; âge moyen M = 22,4 ans, SD = 3,7).

Validité convergente

La validité convergente du module a été établie en examinant les corrélations bivariées de Pearson entre le score agrégé des items 2 à 6 du MFE-ZcL et les dimensions validées du module d’évaluation de base des séminaires (MFE-Sr) :

• Enseignant et Didactique (Dozent & Didaktik) : r = .79 (corrélation très élevée démontrant que la qualité de l’encadrement informatique est étroitement tributaire des compétences pédagogiques générales de l’enseignant) ;
• Matériels pédagogiques (Materialien) : r = .74 (indiquant que la pertinence des supports de cours favorise directement la réussite des séances sur machine) ;
• Interactions entre participants (Teilnehmer) : r = .69 (reflétant l’importance de l’entraide et de la dynamique de groupe lors des phases pratiques sur ordinateur) ;
• Succès d’apprentissage auto-évalué (Lernerfolg) : r = .81 (témoignant d’un lien massif entre une utilisation réussie des ordinateurs et le sentiment global d’acquisition de connaissances) ;
• Appréciation globale du cours (Gesamtbeurteilung) : r = .76 ;
• Disposition à recommander le cours (Weiterempfehlung) : r = .47.

Validité divergente et validité liée au critère

La validité divergente a été confirmée par une corrélation substantiellement négative avec l’échelle de surcharge cognitive et d’exigence excessive (Überforderung) du MFE-Sr : r = -.57. Ce résultat démontre sans ambiguïté qu’un enseignement assisté par ordinateur bien structuré, clair et étayé n’est pas perçu comme une charge écrasante, mais au contraire comme un environnement protecteur contre le décrochage cognitif.

Sensibilité discriminative (Validité de groupe connu)

Pour vérifier si l’instrument est capable de différencier les enseignements réellement distincts sur le plan didactique, une analyse de variance univariée (ANOVA) a été menée avec les différents séminaires évalués comme variable indépendante et le score moyen au module MFE-ZcL comme variable dépendante. L’analyse révèle des écarts hautement significatifs assortis d’une taille d’effet particulièrement forte :

F(6, 70) = 12,75 ; p < .01 ; η² = .52

Cette proportion de 52 % de variance inter-cours expliquée confirme la sensibilité discriminative exceptionnelle de l’échelle, apte à identifier les séminaires exemplaires comme ceux nécessitant des remédiations techniques ou pédagogiques.

8. Fidélité / Reliability

La fidélité de l’instrument MFE-ZcL a été mesurée sous l’angle de la cohérence interne à partir de l’échantillon d’étudiants ayant complété la version révisée en 2010-2012.

Consistance interne globale

Le coefficient alpha de Cronbach pour l’ensemble des items composant l’échelle unidimensionnelle (items 2 à 6) atteint :

α = .84

Cette valeur dépasse largement le seuil standard de .70 préconisé par Nunnally pour les échelles de recherche et atteint le niveau requis (.80) pour des prises de décision diagnostiques et formatives au niveau des cursus universitaires.

Indices de discrimination des items (Trennschärfen)

L’analyse détaillée des coefficients de corrélation item-total corrigé (r_it) atteste de l’homogénéité psychométrique des énoncés :

• Item 2 (Prérequis informatiques suffisants) : r_it = .62 (Alpha si supprimé = .82) ;
• Item 3 (Explications pas-à-pas compréhensibles) : r_it = .71 (Alpha si supprimé = .80) ;
• Item 4 (Occasions suffisantes de pratique autonome) : r_it = .71 (Alpha si supprimé = .79) ;
• Item 5 (Capacité de transfert autonome sur ordinateur) : r_it = .70 (Alpha si supprimé = .80) ;
• Item 6 (Amélioration des compétences informatiques globales) : r_it = .51 (Alpha si supprimé = .85).

Tous les indices de discrimination sont supérieurs au seuil critique conventionnel de .30, démontrant que chaque item contribue de façon substantielle et congruente à la mesure du construit.

9. Analyse factorielle / Factor Analysis

Lors de la révision méthodologique opérée durant le semestre d’été 2010, les analyses factorielles initiales avaient mis en lumière des saturations croisées sur plusieurs facteurs pour deux formulations de l’ancienne version. Une reformulation ciblée des énoncés (items 1 et 2) a permis d’optimiser la structure dimensionnelle du test.

Adéquation de l’échantillonnage et analyse de factorisabilité

L’indice de Kaiser-Meyer-Olkin (KMO) calculé sur les items 2 à 6 s’établit à :

MSA = .80

Cette valeur atteste d’une excellente adéquation de la matrice de corrélations pour la factorisation selon les critères de Kaiser.

Extraction et rotation factorielle

Une analyse factorielle exploratoire en axes principaux (Principal Axis Factoring) avec rotation oblique Promax a été conduite. Le critère de Kaiser (valeurs propres supérieures à 1) combiné à l’inspection visuelle du diagramme des valeurs propres (scree plot) isole sans équivoque une structure unifactorielle univoque :

• Valeur propre initiale (Eigenvalue) : 2.64 ;
• Variance totale expliquée : 52.7 % ;
• L’ensemble des autres facteurs résiduels présentent des valeurs propres nettement inférieures à 1.

Saturations factorielles des items (Factor Loadings)

Les saturations factorielles standardisées sur le facteur unique révèlent des associations massives :

• Item 3 (Explications pas-à-pas de l’enseignant) : λ = .80 ;
• Item 4 (Possibilités d’exercices autonomes) : λ = .80 ;
• Item 5 (Sentiment d’autonomie pour le transfert) : λ = .77 ;
• Item 2 (Niveau suffisant des connaissances préalables) : λ = .68 ;
• Item 6 (Augmentation des compétences informatiques) : λ = .57.

Ces données confirment l’unidimensionnalité stricte des items 2 à 6, validant pleinement le calcul d’un score moyen global pour qualifier l’enseignement assisté par ordinateur.

10. Instrument de mesure / Instrument

L’instrument MFE-ZcL se caractérise par une économie de passation maximale et une intégration technique directe dans les plateformes d’évaluation dématérialisées de l’enseignement supérieur :

• Typologie de l’outil : Questionnaire psychométrique d’hétéro-évaluation pédagogique complété par les étudiants (Student Evaluation of Educational Quality) ; module satellite optionnel.
• Nombre d’items : 6 items au total (5 items d’échelle Likert standardisée + 1 item diagnostique autonome relatif au tempo).
• Format d’administration : En ligne (plateforme web optimisée PHP/MySQL, système PsyEval de Münster), administré immédiatement après le module de base du séminaire (MFE-Sr).
• Échelle de réponse standard (Items 2 à 6) : Échelle de Likert en 7 points :
  1 = stimme gar nicht zu (fortement en désaccord)
  2 = stimme nicht zu (en désaccord)
  3 = stimme eher nicht zu (plutôt en désaccord)
  4 = neutral (neutre)
  5 = stimme eher zu (plutôt d’accord)
  6 = stimme zu (d’accord)
  7 = stimme vollkommen zu (tout à fait d’accord)
  Modalité additionnelle : nicht sinnvoll beantwortbar (évaluation non pertinente / sans objet).
• Échelle de réponse pour l’item 1 (Tempo) : Échelle ordinale bipolaire en 5 points :
  « viel zu langsam » (beaucoup trop lent), « zu langsam » (trop lent), « angemessen » (adéquat / approprié), « zu schnell » (trop rapide), « viel zu schnell » (beaucoup trop rapide).
• Règles de cotation et de calcul des scores : En vertu de l’unidimensionnalité démontrée, les réponses aux items 2 à 6 font l’objet d’une moyenne arithmétique simple (ou d’un score total sommatif sur 35). Les valeurs manquantes résultant du choix « nicht sinnvoll beantwortbar » sont exclues du calcul de la moyenne. L’item 1 est analysé séparément comme indicateur régulateur du rythme d’apprentissage.

11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year

• Année d’introduction initiale : 2003 (première modélisation dans le système modulaire MFE).
• Année de révision et de standardisation : 2010 (version révisée stabilisée).
• Statut des droits d’auteur et licence : Propriété intellectuelle de l’Université de Münster (Institut de psychologie). Les items et les échelles de Münster sont mis à la disposition de la communauté académique, des universités et des chercheurs sans frais de licence dans le cadre d’un usage d’évaluation interne et de recherche non commerciale.
• Modalités d’accès et d’implémentation : L’accès aux documentations techniques, aux matrices d’implémentation numérique et aux modules complets s’effectue via le portail officiel de l’équipe de recherche : www.uni-muenster.de/PsyEval ou par contact académique direct auprès du Dr. Meinald Thielsch.

12. Références / References

• Bandura, A. (1997). Self-efficacy: The exercise of control. W. H. Freeman and Company.
• Bechler, N., & Thielsch, M. T. (2012). Erfassung von Belastung und Zeitknappheit in Prüfungsphasen: Ein methodischer Beitrag zur Lehrevaluation. Psychologisches Institut der Westfälischen Wilhelms-Universität Münster.
• Compeau, D. R., & Higgins, C. A. (1995). Computer self-efficacy: Development of a measure and initial test. MIS Quarterly, 19(2), 189–211. https://doi.org/10.2307/249688
• Göritz, A. S., Soucek, R., & Bacher, J. (2005). Online-Panels in der empirischen Forschung. Kölner Zeitschrift für Soziologie und Sozialpsychologie, 44(Suppl.), 1–25.
• Grabbe, T. (2003). Konstruktion eines Fragebogens zur universitären Lehrevaluation [Mémoire de diplôme non publié]. Westfälische Wilhelms-Universität Münster.
• Haaser, T., Thielsch, M. T., & Moeck, C. (2007). Online-Lehrevaluation an der Westfälischen Wilhelms-Universität Münster. In M. Krämer, K. R. Preuss, & K. Sadowski (Eds.), Ausgewählte Beiträge der 7. Fachtagung für Psychologiedidaktik und Evaluation (pp. 147–156). Shaker Verlag.
• Marsh, H. W. (1984). Students’ evaluations of university teaching: Dimensionality, reliability, validity, potential baises and utility. Journal of Educational Psychology, 76(5), 707–754. https://doi.org/10.1037/0022-0663.76.5.707
• Moeck, C., & Thielsch, M. T. (2004). Das modulare System der Münsteraner Lehrevaluation: Aufbau und didaktische Konzeption. Psychologisches Institut der Westfälischen Wilhelms-Universität Münster.
• Rindermann, H. (1996). Untersuchungen zur Validität von Studentenurteilen über Unterrichtsqualität. Waxmann.
• Rindermann, H. (2001). Lehrevaluation: Einführung und Überblick zu Forschung und Praxis. Verlag Empirische Pädagogik.
• Schmidt, B. M., & Loßnitzer, T. (2010). Instrumente zur Evaluation von Lehrveranstaltungen an deutschsprachigen Hochschulen: Eine synoptische Zusammenstellung. Zentrum für Bildungs- und Hochschulforschung (ZBH).
• Sweller, J. (2010). Element interactivity and intrinsic, extraneous, and germane cognitive load. Educational Psychology Review, 22(2), 123–138. https://doi.org/10.1007/s10648-010-9128-5
• Thielsch, M. T., & Weltzin, S. (2012). Online-Evaluationen in der Praxis: Methoden, Werkzeuge und Herausforderungen. Zeitschrift für Evaluation, 11(1), 35–58.

13. Questions et items du questionnaire / Scale Items