Le Questionnaire d’\u00e9valuation de M\u00fcnster – module compl\u00e9mentaire pour l’enseignement num\u00e9rique<\/strong> (M\u00fcnsteraner Fragebogen zur Evaluation \u2013 Zusatzmodul digitale Lehre<\/em>, MFE-ZdL) est un instrument psychom\u00e9trique et docimologique d\u00e9velopp\u00e9 \u00e0 l’Institut de Psychologie de l’Universit\u00e9 de M\u00fcnster (Westf\u00e4lische Wilhelms-Universit\u00e4t M\u00fcnster<\/em>). Con\u00e7u initialement au printemps 2020 en r\u00e9ponse directe aux perturbations massives et \u00e0 la transition p\u00e9dagogique d’urgence provoqu\u00e9es par la pand\u00e9mie de COVID-19, ce module court compos\u00e9 de 10 items a \u00e9t\u00e9 cr\u00e9\u00e9 pour enrichir les instruments institutionnels standardis\u00e9s d’\u00e9valuation des enseignements par les \u00e9tudiants, sp\u00e9cifiquement le M\u00fcnster Questionnaire for the Evaluation of Seminars<\/em> (MFE-Sr) et le M\u00fcnster Questionnaire for the Evaluation of Lectures<\/em> (MFE-Vr).<\/p>\n L’instrument adopte une approche multidimensionnelle et pragmatique de la qualit\u00e9 p\u00e9dagogique num\u00e9rique. Il \u00e9value les modalit\u00e9s technologiques concr\u00e8tes d\u00e9ploy\u00e9es, l’ad\u00e9quation didactique per\u00e7ue des outils, la comparabilit\u00e9 des apprentissages par rapport au pr\u00e9sentiel, la pr\u00e9servation des interactions r\u00e9flexives entre pairs, l’efficacit\u00e9 de la collaboration en ligne, la charge de travail induite par les exigences techniques, la disponibilit\u00e9 de l’enseignant, ainsi que les r\u00e9percussions du format num\u00e9rique sur l’autor\u00e9gulation de l’apprentissage (procrastination, gestion du temps, autonomie). Le questionnaire combine deux items descriptifs \u00e0 choix multiple et r\u00e9ponses ouvertes, six items \u00e9valuatifs mesur\u00e9s sur une \u00e9chelle de Likert en 7 points (allant de 1 = \u00ab enti\u00e8rement en d\u00e9saccord \u00bb \u00e0 7 = \u00ab tout \u00e0 fait d’accord \u00bb, assortie d’une option \u00ab non applicable \u00bb), un item \u00e0 choix multiple portant sur les effets sur l’apprentissage et une question ouverte de r\u00e9troaction qualitative.<\/p>\n Sur le plan psychom\u00e9trique, le MFE-ZdL n’a pas vocation \u00e0 mesurer un trait latent unidimensionnel homog\u00e8ne mais plut\u00f4t un ensemble d’indicateurs formatifs ind\u00e9pendants de la qualit\u00e9 de l’enseignement. L’analyse multiniveau (mod\u00e8le \u00e0 coefficients al\u00e9atoires) appliqu\u00e9e \u00e0 un \u00e9chantillon empirique de 5 154 \u00e9valuations d\u00e9montre une sensibilit\u00e9 diff\u00e9rentielle remarquable inter-cours (ΔAIC > 10 et coefficients de corr\u00e9lation intraclasse allant jusqu’\u00e0 0,18), confirmant son utilit\u00e9 diagnostique tant pour la r\u00e9troaction formative individuelle fournie aux enseignants que pour la recherche en enseignement sup\u00e9rieur.<\/p>\n \u00c9valuation des enseignements par les \u00e9tudiants, enseignement num\u00e9rique, p\u00e9dagogie universitaire, psychom\u00e9trie \u00e9ducative, enseignement \u00e0 distance, apprentissage en ligne, qualit\u00e9 didactique, enseignement hybride, MFE-ZdL, r\u00e9troaction formative, interaction p\u00e9dagogique, auto-efficacit\u00e9 num\u00e9rique.<\/p>\n Le module MFE-ZdL a \u00e9t\u00e9 con\u00e7u et valid\u00e9 par l’\u00e9quipe d’\u00e9valuation p\u00e9dagogique de l’Institut de Psychologie de l’Universit\u00e9 de M\u00fcnster (Westf\u00e4lische Wilhelms-Universit\u00e4t M\u00fcnster<\/em>, Allemagne) :<\/p>\n Le MFE-ZdL a \u00e9t\u00e9 d\u00e9velopp\u00e9 pour r\u00e9pondre \u00e0 un imp\u00e9ratif d’assurance qualit\u00e9 et d’optimisation p\u00e9dagogique dans un contexte d’int\u00e9gration massive et soudaine des technologies de l’information et de la communication dans l’enseignement sup\u00e9rieur. Avant la crise sanitaire de 2020, les environnements num\u00e9riques d’apprentissage repr\u00e9sentaient des composantes p\u00e9riph\u00e9riques ou compl\u00e9mentaires de la formation universitaire germanophone (Persike & Friedrich, 2016<\/a>). La fermeture brutale des campus universitaires a contraint les \u00e9quipes p\u00e9dagogiques \u00e0 concevoir, dans l’urgence, des environnements d’apprentissage virtuels asynchrones, synchrones ou hybrides. Dans ce cadre, les questionnaires traditionnels d’\u00e9valuation des cours se sont av\u00e9r\u00e9s inadapt\u00e9s pour capturer les d\u00e9fis techniques, communicationnels et motivationnels propres \u00e0 la m\u00e9diation num\u00e9rique.<\/p>\n L’objectif fondamental de cet instrument est double :<\/p>\n Au-del\u00e0 de la d\u00e9marche qualit\u00e9 interne, l’instrument offre des perspectives majeures en recherche fondamentale et appliqu\u00e9e en psychologie de l’\u00e9ducation et en didactique universitaire. Il permet d’\u00e9tudier l’influence proximale des choix technop\u00e9dagogiques sur l’autor\u00e9gulation de l’apprentissage (gestion du temps, autonomie, d\u00e9rive vers la procrastination acad\u00e9mique<\/a>) et d’explorer les liens distaux avec la r\u00e9ussite, l’engagement et la pers\u00e9v\u00e9rance acad\u00e9mique (Tinto, 1975<\/a> ; Schneider & Preckel, 2017).<\/p>\n Le MFE-ZdL ne mod\u00e9lise pas un trait psychologique latent unique ou unidimensionnel (comme l’extraversion ou l’anxi\u00e9t\u00e9), mais appr\u00e9hende un construit complexe et pragmatique : l’\u00e9valuation subjective par les \u00e9tudiants des multiples dimensions de l’enseignement num\u00e9rique<\/em>. D’un point de vue conceptuel et psychom\u00e9trique, il s’agit d’un r\u00e9seau d’indicateurs formatifs recouvrant plusieurs domaines distincts :<\/p>\n Cette dimension documente la configuration technique objective du cours : diapositives annot\u00e9es, retransmissions en direct (livestreams<\/em>), enregistrements audio\/vid\u00e9o asynchrones, s\u00e9ances interactives synchrones (ex. Zoom), permanences virtuelles de l’enseignant et forums de discussion en ligne. Ces informations contextualisent l’interpr\u00e9tation des items \u00e9valuatifs pour les \u00e9quipes p\u00e9dagogiques.<\/p>\n Ce construit mesure l’alignement p\u00e9dagogique per\u00e7u entre les outils num\u00e9riques s\u00e9lectionn\u00e9s et la nature intrins\u00e8que des contenus disciplinaires. Conform\u00e9ment aux principes de l’alignement constructif, un outil technologique n’est pas vertueux en soi ; son efficacit\u00e9 d\u00e9pend de son int\u00e9gration coh\u00e9rente avec les objectifs d’apprentissage vis\u00e9s.<\/p>\n Cette facette \u00e9value si le passage au format num\u00e9rique a permis la transmission int\u00e9grale des contenus d’apprentissage ou si des pertes conceptuelles et proc\u00e9durales ont \u00e9t\u00e9 per\u00e7ues par rapport \u00e0 un cours traditionnel sur campus.<\/p>\n L’isolement social constitue l’un des risques majeurs de la formation \u00e0 distance. Le MFE-ZdL \u00e9value sp\u00e9cifiquement deux niveaux d’interaction \u00e9tudiante : d’une part, la suffisance per\u00e7ue des opportunit\u00e9s d’\u00e9change pour r\u00e9fl\u00e9chir et approfondir les mati\u00e8res enseign\u00e9es (Item 5) ; d’autre part, la fonctionnalit\u00e9 et l’efficacit\u00e9 des environnements num\u00e9riques de travail collaboratif lors des travaux de groupe (Item 6).<\/p>\n Ce construit capture le co\u00fbt cognitif et temporel induit par les exigences techniques (plateformes, logiciels, connectivit\u00e9). L’item \u00e9value la capacit\u00e9 des \u00e9tudiants \u00e0 surmonter les exigences technologiques sans surcro\u00eet de charge de travail indue (extraneous cognitive load<\/em>).<\/p>\n En contexte d\u00e9mat\u00e9rialis\u00e9, les canaux informels en pr\u00e9sentiel (questions \u00e0 la fin d’un cours en amphith\u00e9\u00e2tre) disparaissent. Cette facette mesure la perception par les apprenants de la disponibilit\u00e9 et de la r\u00e9activit\u00e9 de l’enseignant via les canaux num\u00e9riques mis \u00e0 disposition.<\/p>\n Cette dimension cat\u00e9gorielle explore les r\u00e9percussions proximales du format num\u00e9rique sur les processus d’apprentissage : gestion plus efficiente du temps, flexibilit\u00e9 et autod\u00e9termination accrues, mais \u00e9galement risques accrus de procrastination acad\u00e9mique et diminution de l’engagement cognitif en profondeur.<\/p>\n Le d\u00e9veloppement du MFE-ZdL s’ancre \u00e0 la crois\u00e9e de plusieurs cadres th\u00e9oriques majeurs de la psychologie de l’\u00e9ducation, des th\u00e9ories de la motivation et de l’ing\u00e9nierie p\u00e9dagogique num\u00e9rique :<\/p>\n La th\u00e9orie de l’autod\u00e9termination<\/a> (Deci & Ryan, 2012) postule que la motivation intrins\u00e8que et le bien-\u00eatre psychologique reposent sur la satisfaction de trois besoins fondamentaux :<\/p>\n La th\u00e9orie de la charge cognitive<\/a> (Sweller, 1988 ; Paas et al., 2003) distingue la charge intrins\u00e8que (complexit\u00e9 du contenu), la charge pertinente (effort d’int\u00e9gration dans les sch\u00e9mas mentaux) et la charge extrins\u00e8que (indue, li\u00e9e \u00e0 une mauvaise pr\u00e9sentation ou \u00e0 des outils d\u00e9faillants). L’item 7 du questionnaire op\u00e9rationnalise pr\u00e9cis\u00e9ment la charge extrins\u00e8que induite par la complexit\u00e9 technologique. Si les \u00e9tudiants doivent consacrer des ressources cognitives substantielles pour simplement acc\u00e9der aux contenus, leur apprentissage conceptuel s’en trouve lourdement d\u00e9grad\u00e9.<\/p>\n L’apprentissage en ligne requiert un niveau \u00e9lev\u00e9 d’autor\u00e9gulation<\/a> (Hilpert et al., 2022). En l’absence des rep\u00e8res spatio-temporels stricts du pr\u00e9sentiel, les \u00e9tudiants dot\u00e9s de comp\u00e9tences m\u00e9tacognitives \u00e9lev\u00e9es maximisent leur temps, tandis que les apprenants plus vuln\u00e9rables manifestent un \u00e9vitement strat\u00e9gique et une procrastination accrue (Hong et al., 2021 ; Pelikan et al., 2021). L’item 9 documente empiriquement ces bifurcations comportementales.<\/p>\n Le processus de validation psychom\u00e9trique du MFE-ZdL a \u00e9t\u00e9 document\u00e9 sur deux semestres cons\u00e9cutifs (semestre d’hiver 2020\/2021 et semestre d’\u00e9t\u00e9 2021) \u00e0 l’Universit\u00e9 de M\u00fcnster, repr\u00e9sentant un corpus complet de 5 154 \u00e9valuations de cours<\/strong> issues de 3 895 \u00e9tudiants distincts (82,4 % de femmes, 15,5 % d’hommes ; \u00e2ge moyen = 23,08 ans, ET<\/em> = 3,61 ; cursus en psychologie et formation des enseignants).<\/p>\n La validit\u00e9 de contenu a \u00e9t\u00e9 garantie par une d\u00e9marche de construction d\u00e9ductive rigoureuse men\u00e9e par une \u00e9quipe d’expertes en \u00e9valuation p\u00e9dagogique. \u00c0 partir d’un pool initial de 25 items couvrant les facettes th\u00e9oriques du domaine, des revues critiques successives ont \u00e9limin\u00e9 les redondances et ambigu\u00eft\u00e9s. Des consultations approfondies avec la vice-doyenne aux \u00e9tudes, des repr\u00e9sentants du corps enseignant et des sp\u00e9cialistes de l’enseignement sup\u00e9rieur ont permis de consolider la s\u00e9lection finale de 10 items, assurant une repr\u00e9sentativit\u00e9 optimale des caract\u00e9ristiques de l’enseignement num\u00e9rique tout en respectant une parcimonie temporelle stricte.<\/p>\n Lors du d\u00e9ploiement initial au semestre d’\u00e9t\u00e9 2020, trois items pr\u00e9sentaient une formulation invers\u00e9e (n\u00e9gative) : perte de contenu, manque d’\u00e9change entre pairs et surcro\u00eet de travail technique. Les analyses factorielles exploratoires ont r\u00e9v\u00e9l\u00e9 que ces trois items saturaient sur un m\u00eame facteur parasite de m\u00e9thode, sans rapport avec leur contenu th\u00e9orique respectif. Les concepteurs ont donc reformul\u00e9 ces items de mani\u00e8re positive d\u00e8s les semestres suivants (voir Items 4, 5 et 7 finaux). Cette correction a \u00e9limin\u00e9 l’art\u00e9fact de m\u00e9thode et restaur\u00e9 la coh\u00e9rence conceptuelle de la batterie.<\/p>\n Les donn\u00e9es d’\u00e9valuation des enseignements pr\u00e9sentent une structure hi\u00e9rarchique naturelle : les \u00e9tudiants (niveau 1) sont nich\u00e9s au sein de cours sp\u00e9cifiques (niveau 2). Pour \u00e9tablir la validit\u00e9 de l’outil comme instrument d’\u00e9valuation p\u00e9dagogique, il est indispensable de d\u00e9montrer que les items discriminent r\u00e9ellement la qualit\u00e9 sp\u00e9cifique des cours et ne refl\u00e8tent pas uniquement des dispositions individuelles des r\u00e9pondants.<\/p>\n Une mod\u00e9lisation multiniveau \u00e0 ordonn\u00e9e al\u00e9atoire seule (Random-Intercept-Only Multilevel Model<\/em>) a \u00e9t\u00e9 conduite sous R (paquet L’\u00e9valuation de la fid\u00e9lit\u00e9 psychom\u00e9trique classique du MFE-ZdL n\u00e9cessite une mise en garde \u00e9pist\u00e9mologique essentielle :<\/p>\n Conform\u00e9ment \u00e0 la strat\u00e9gie de construction du test, les items du MFE-ZdL repr\u00e9sentent des facettes distinctes et aucune partition rigide en sous-\u00e9chelles composites n’est pr\u00e9conis\u00e9e. N\u00e9anmoins, des analyses factorielles exploratoires (AFE) utilisant l’extraction par maximum de vraisemblance (ML) et une rotation oblique (Oblimin) ont \u00e9t\u00e9 men\u00e9es \u00e0 chaque \u00e9tape du d\u00e9veloppement pour investiguer la structure empirique des donn\u00e9es et d\u00e9tecter d’\u00e9ventuelles redondances.<\/p>\n L’analyse des corr\u00e9lations de Pearson entre les six items \u00e0 \u00e9chelle d’\u00e9valuation (Tableau ci-dessous, N<\/em> = 5 154) met en \u00e9vidence des relations positives d’intensit\u00e9 faible \u00e0 mod\u00e9r\u00e9e, confirmant que les items partagent une variance commune mod\u00e9r\u00e9e tout en mesurant des composantes empiriquement diff\u00e9rentiables :<\/p>\n Les distributions des r\u00e9ponses pr\u00e9sentent une asym\u00e9trie n\u00e9gative marqu\u00e9e (vers les scores favorables), fr\u00e9quente dans les \u00e9valuations d’enseignements universitaires o\u00f9 les \u00e9tudiants expriment globalement leur satisfaction :<\/p>\n L’\u00e9cart \u00e0 la normalit\u00e9 multivari\u00e9e justifie une interpr\u00e9tation prudente des saturations factorielles issues de l’AFE et conforte la recommandation fondamentale des auteurs : restituer et analyser les items de mani\u00e8re individuelle au moyen de moyennes et d’\u00e9carts-types descriptifs, sans agr\u00e9ger les scores en un score total unique ni cr\u00e9er de sous-scores factoriels artificiels<\/strong>.<\/p>\n Response Scale \/ Antwortvorgaben:<\/strong><\/p>\n F\u00fcr die Items mit Mehrfachwahl-Abfrageformat bzw. offenem Antwortfeld sind die Antwortformate in Tabelle 1 spezifiziert. F\u00fcr die in Tabelle 2 dargestellten Items wird ein 7-stufiges Antwortformat mit den folgenden Optionen verwendet: 1 = \u00ab\u00a0stimme gar nicht zu\u00a0\u00bb, 2 = \u00ab\u00a0stimme nicht zu\u00a0\u00bb, 3 = \u00ab\u00a0stimme eher nicht zu\u00a0\u00bb, 4 = \u00ab\u00a0neutral\u00a0\u00bb, 5 = \u00ab\u00a0stimme eher zu\u00a0\u00bb, 6 = \u00ab\u00a0stimme zu\u00a0\u00bb und 7 = \u00ab\u00a0stimme vollkommen zu\u00a0\u00bb. Zus\u00e4tzlich wird bei den Items mit Ratingskala die Antwortkategorie \u201enicht sinnvoll beantwortbar\u201c pr\u00e4sentiert und als \u201eNA\u201c (fehlender Wert) kodiert.<\/p>\n 1. In dieser Veranstaltung wurden folgende digitale Elemente eingesetzt:<\/p>\n Antwortvorgaben (Mehrere Angaben m\u00f6glich):<\/em><\/p>\n2. Mots-cl\u00e9s \/ Keywords<\/h2>\n
3. Auteurs \/ Authors<\/h2>\n
\n
4. Objectif \/ Purpose<\/h2>\n
\n
5. Construit psychologique \/ Construct<\/h2>\n
1. Inventaire descriptif des dispositifs technologiques (Items 1 et 2)<\/h3>\n
2. Pertinence et ad\u00e9quation didactique (Item 3)<\/h3>\n
3. Pr\u00e9servation de l’int\u00e9grit\u00e9 p\u00e9dagogique par rapport au pr\u00e9sentiel (Item 4)<\/h3>\n
4. Interaction sociale, r\u00e9flexivit\u00e9 et collaboration entre pairs (Items 5 et 6)<\/h3>\n
5. Friction ergonomique et charge cognitive technique (Item 7)<\/h3>\n
6. Accessibilit\u00e9 communicationnelle de l’enseignant (Item 8)<\/h3>\n
7. Impact sur l’autor\u00e9gulation de l’apprentissage (Item 9)<\/h3>\n
6. Cadre th\u00e9orique \/ Theoretical Framework<\/h2>\n
Th\u00e9orie de l’autod\u00e9termination (Deci & Ryan)<\/h3>\n
\n
Th\u00e9orie de la charge cognitive (Sweller)<\/h3>\n
Mod\u00e8les de l’apprentissage autor\u00e9gul\u00e9 (Zimmerman, Boekaerts)<\/h3>\n
7. Validit\u00e9 \/ Validity<\/h2>\n
Validit\u00e9 de contenu et d’experts<\/h3>\n
\u00c9limination des biais m\u00e9thodologiques et validit\u00e9 de construit<\/h3>\n
Validit\u00e9 multiniveau et sensibilit\u00e9 diff\u00e9rentielle inter-cours<\/h3>\n
lme4<\/code>). Pour l’ensemble des six items \u00e0 \u00e9chelle d’\u00e9valuation, la comparaison entre le mod\u00e8le multiniveau et un mod\u00e8le \u00e0 ordonn\u00e9e fixe (Fixed-Intercept<\/em>) a r\u00e9v\u00e9l\u00e9 des \u00e9carts d’information majeurs avec ΔAIC > 100<\/strong> (variant de 103,21 \u00e0 654,89), d\u00e9passant tr\u00e8s largement le seuil standard de significativit\u00e9 (ΔAIC > 10 ; Burnham & Anderson, 2004). Le coefficient de corr\u00e9lation intraclasse (ICC), qui indique la part de variance expliqu\u00e9e par les diff\u00e9rences inter-cours, s’\u00e9l\u00e8ve \u00e0 0,18 pour l’Item 5 (r\u00e9flexion avec les pairs) et \u00e0 0,15 pour l’Item 8 (disponibilit\u00e9 de l’enseignant), attestant d’une excellente sensibilit\u00e9 discriminante de l’outil pour guider les pratiques p\u00e9dagogiques.<\/p>\n8. Fid\u00e9lit\u00e9 \/ Reliability<\/h2>\n
\n
9. Analyse factorielle \/ Factor Analysis<\/h2>\n
Matrice d’intercorr\u00e9lations des items \u00e9valuatifs<\/h3>\n
\n
Distribution statistique et \u00e9carts \u00e0 la normalit\u00e9<\/h3>\n
\n
10. Instrument de mesure \/ Instrument<\/h2>\n
\n
\n
\n
1<\/code> = \u00ab stimme gar nicht zu \u00bb (enti\u00e8rement en d\u00e9saccord)<\/li>\n2<\/code> = \u00ab stimme nicht zu \u00bb (en d\u00e9saccord)<\/li>\n3<\/code> = \u00ab stimme eher nicht zu \u00bb (plut\u00f4t en d\u00e9saccord)<\/li>\n4<\/code> = \u00ab neutral \u00bb (neutre)<\/li>\n5<\/code> = \u00ab stimme eher zu \u00bb (plut\u00f4t d’accord)<\/li>\n6<\/code> = \u00ab stimme zu \u00bb (d’accord)<\/li>\n7<\/code> = \u00ab stimme vollkommen zu \u00bb (tout \u00e0 fait d’accord)<\/li>\nNA<\/code> = \u00ab nicht sinnvoll beantwortbar \u00bb (non \u00e9valuable \/ non applicable ; encod\u00e9 comme valeur manquante).<\/li>\n<\/ul>\n<\/li>\n\n
11. Permissions, Tarifs et Ann\u00e9e du test \/ Permissions & Fee and Test Year<\/h2>\n
\n
12. R\u00e9f\u00e9rences \/ References<\/h2>\n
\n
13. Questions et items du questionnaire \/ Scale Items<\/h2>\n
\nTabelle 1: Items des MFE-ZdL mit Item-spezifischem Antwortformat<\/h3>\n
\n