Test d’évaluation des compétences numériques pour l’apprentissage (Digitest)

1. Résumé / Abstract

Le Test d’évaluation des compétences numériques pour l’apprentissage (Digital Competence for Learning Assessment Test ou Digitest ; Pedaste, Kallas, & Baucal, 2023) est un instrument psychométrique conçu pour mesurer de façon standardisée les compétences numériques dédiées aux situations d’apprentissage chez les élèves de l’enseignement primaire et du premier cycle de l’enseignement secondaire (de la 3^e à la 9^e année du cursus scolaire estonien, correspondant aux apprenants âgés d’environ 8 à 16 ans). Développé par un groupe d’experts du Centre for Educational Technology de l’Université de Tartu, le test opérationnalise les dimensions conceptuelles articulées par Pedaste et al. (2021) et Adov (2022). L’instrument final se compose de 41 items combinant six typologies interactives : questions à choix multiple à réponse unique, questions à choix multiples à réponses multiples, tâches de séquençage d’étapes, exercices d’appariement, désignation de zones cibles sur une image (hotspot) et questions ouvertes courtes, toutes cotées de manière dichotomique (correct ou incorrect).

Sur le plan structurel, le modèle retenu repose sur une modélisation factorielle confirmatoire de second ordre à deux macro-dimensions théoriques (la composante cognitivo-comportementale et la composante motivationnelle/volitionnelle), encapsulant neuf sous-échelles de premier ordre : le contrôle perçu, les attitudes liées aux comportements numériques, l’intention comportementale, les opérations numériques, la communication dans le monde numérique, la programmation de contenus numériques, la création de matériels numériques, la protection de soi et d’autrui, ainsi que le comportement légal et éthique dans l’espace numérique. La fidélité composite des sous-échelles s’échelonne entre 0,65 et 0,91. L’application des modèles issus de la théorie de la réponse à l’item (TRI) met en évidence une corrélation attendue satisfaisante (> 0,30 pour la quasi-totalité des items) et des indices d’ajustement (infit et outfit) adéquats pour une évaluation pédagogique en milieu scolaire.

2. Mots-clés / Keywords

Compétence numérique pour l’apprentissage, Digitest, évaluation psychométrique, théorie de Weinert, théorie de la réponse à l’item, analyse factorielle confirmatoire, éducation numérique, contrôle perçu, attitudes envers les technologies, littératie numérique, psychométrie scolaire, modélisation structurelle.

3. Auteurs / Authors

Le test a été conçu et validé par une équipe de chercheurs spécialisés en technologies éducatives, psychologie cognitive et mesure psychométrique :

• Margus Pedaste : Institute of Education, University of Tartu, Tartu, Estonie. ORCID : 0000-0002-5087-9637. Courriel : [email protected].
• Külli Kallas (Auteure correspondante) : Institute of Education, University of Tartu, Jakobi 5, Tartu, 51005, Estonie. Courriel : [email protected].
• Aleksandar Baucal : Department of Psychology, Faculty of Philosophy, University of Belgrade, Belgrade, Serbie. ORCID : 0000-0002-7965-7659. Courriel : [email protected].

4. Objectif / Purpose

La transformation numérique accélérée des environnements scolaires impose une réévaluation constante des capacités des apprenants à mobiliser les technologies de l’information et de la communication de manière autonome, efficace et critique. L’objectif fondamental du Digitest est d’évaluer de manière rigoureuse et standardisée les compétences numériques spécifiquement orientées vers l’apprentissage chez les élèves du cycle primaire et secondaire inférieur. Contrairement aux outils traditionnels d’auto-évaluation, qui mesurent essentiellement le sentiment d’efficacité perçu ou la familiarité subjective (souvent biaisés par des phénomènes de désirabilité sociale ou de surévaluation cognitive décrits dans l’effet Dunning-Kruger), le Digitest combine des tâches directes de résolution de problèmes et des échelles d’attitudes ciblant la mobilisation concrète des outils numériques pour apprendre.

Sur le plan de la justification théorique et empirique, les compétences numériques ne peuvent plus être réduites à de simples habiletés techniques ou instrumentales (comme savoir manipuler un clavier ou ouvrir une application). Elles constituent un construit multidimensionnel articulant des aptitudes procédurales, une compréhension conceptuelle de l’architecture numérique, des dispositions conatives, ainsi qu’une réflexivité éthique et sécuritaire. L’évaluation standardisée de ces dimensions permet de répondre à plusieurs finalités :

• Diagnostic pédagogique individualisé : Identifier précisément les lacunes des élèves dès les premières années de scolarité dans des domaines critiques tels que la protection des données, le codage, l’évaluation de la fiabilité de l’information ou la collaboration en ligne.
• Recherche en psychologie de l’éducation : Analyser les interactions dynamiques entre les dimensions cognitives et attitudinales de la compétence numérique, ainsi que leur rôle prédictif dans les performances scolaires globales, l’autorégulation de l’apprentissage et l’engagement académique.
• Évaluation et pilotage institutionnel : Fournir aux décideurs éducatifs et aux concepteurs de programmes scolaires des métriques robustes pour mesurer l’impact de l’intégration des technologies éducatives et réorienter les politiques de formation des enseignants et des élèves.

5. Construit psychologique / Construct

Le Digitest appréhende la compétence numérique pour l’apprentissage à travers un ensemble coordonné de neuf sous-dimensions issues d’un consensus théorique et empirique mené à l’Université de Tartu (Pedaste et al., 2021, 2023 ; Adov, 2022). Chaque sous-échelle cible un domaine cognitivo-comportemental ou motivationnel spécifique :

1. Contrôle perçu (Perceived Control)

Cette dimension évalue le degré auquel l’élève estime posséder les ressources cognitives, matérielles et contextuelles nécessaires pour utiliser efficacement les technologies numériques dans ses tâches scolaires. Directement dérivée de la théorie du comportement planifié d’Ajzen, elle capture le sentiment de maîtrise de l’environnement numérique face à des tâches de complexité variable (par exemple, la certitude de savoir surmonter une défaillance technique mineure ou d’adapter un format de fichier selon les exigences du travail demandé).

2. Attitudes liées aux comportements (Behavior-Related Attitudes)

Cette composante conative mesure les évaluations positives ou négatives que l’élève formule à l’égard de l’utilisation d’outils numériques à des fins d’apprentissage. Loin d’une simple technophilie récréative, il s’agit d’évaluer si l’apprenant perçoit le numérique comme un vecteur d’enrichissement méthodologique, de productivité intellectuelle et d’autonomie cognitive dans son travail d’élève.

3. Intention comportementale (Behavioral Intention)

Elle formalise la disposition motivationnelle consciente et la détermination de l’élève à employer les instruments numériques pour soutenir, organiser et planifier ses activités d’apprentissage futures. Elle constitue le prédicteur proximal le plus direct du comportement effectif selon les modèles d’action raisonnée.

4. Opérations numériques (Digital Operations)

Cette dimension cognitive fondamentale couvre la maîtrise fonctionnelle des systèmes d’exploitation, des logiciels bureautiques, des environnements virtuels d’apprentissage (ENT) et des périphériques. Elle inclut par exemple la gestion de l’arborescence des fichiers, l’usage efficient des raccourcis clavier, la manipulation des paramètres du système d’exploitation et la sélection judicieuse des moteurs de recherche ou de bases de données scolaires.

5. Communication dans le monde numérique (Communication in the Digital World)

Cette sous-échelle évalue les aptitudes à interagir, coopérer et échanger des informations au sein d’environnements numériques partagés. Elle comprend la maîtrise des règles de la nétiquette, le choix approprié des canaux de communication synchrone ou asynchrone (courriel formel, forums éducatifs, messagerie collaborative) et la compréhension des protocoles de transmission de documents pédagogiques.

6. Programmation de contenus numériques (Digital Content Programming)

Ciblant la pensée informatique élémentaire, cette dimension mesure la capacité à appréhender la logique algorithmique, à séquencer des instructions conditionnelles, à identifier des erreurs de logique (debugging) et à construire des processus automatisés de traitement de données adaptés à l’âge des élèves.

7. Création de matériels numériques (Creation of Digital Materials)

Elle engage la créativité cognitive et la maîtrise d’outils de production numérique multimédia. Les tâches évaluent la capacité à structurer un document textuel enrichi, à élaborer des présentations diaporama respectant les principes d’ergonomie cognitive, à formater des graphiques synthétiques ou à monter de courts enregistrements audios et vidéos à visée éducative.

8. Protection de soi et d’autrui dans le monde numérique (Protection of Oneself and Others)

Cette dimension aborde la sécurité numérique, la préservation de la vie privée et l’hygiène cybernétique. Elle teste les connaissances et réflexes de l’élève face à la création de mots de passe robustes, à l’identification des tentatives d’hameçonnage (phishing), à la gestion des traces numériques personnelles et à la prévention du cyberharcèlement.

9. Comportement légal et éthique dans le monde numérique (Legal Behavior)

Enfin, cette sous-échelle porte sur la dimension normative et citoyenne de l’univers numérique : le respect du droit d’auteur, la compréhension des licences de libre diffusion (ex. Creative Commons), l’obligation de citation des sources informationnelles et l’interdiction de plagiat dans les productions académiques.

6. Cadre théorique / Theoretical Framework

L’architecture psychologique du Digitest est rigoureusement adossée à la théorie fondatrice des compétences développée par Franz E. Weinert (2001). Selon Weinert, une compétence ne saurait être définie comme une simple accumulation mécanique de connaissances procédurales ou de savoir-faire isolés. Elle constitue un système complexe, intégré et contextualisé combinant indissociablement :

1. Des capacités cognitives et comportementales (savoirs conceptuels, processus de traitement de l’information, habiletés motrices et procédurales appliquées) permettant d’atteindre des buts déterminés ;
2. Des dispositions motivationnelles, volitionnelles et émotionnelles (croyances de contrôle, attitudes positives, intention d’agir, sens de la responsabilité éthique) qui soutiennent et orientent la mise en œuvre de ces habiletés dans des situations complexes de la vie réelle.

En transposant ce postulat à l’apprentissage numérique, l’équipe de Pedaste et al. (2023) a structuré leur modèle autour de cette dichotomie fondamentale de second ordre : d’une part, les composantes cognitivo-comportementales (opérations numériques, communication, programmation, création de contenus, protection et comportement légal) qui incarnent l’aptitude technique et réflexive à accomplir la tâche ; d’autre part, les composantes attitudinales-motivationnelles (attitudes envers les comportements, contrôle perçu et intention comportementale) qui régulent l’engagement réel de l’élève.

Sur le versant attitudinal, le cadre intègre substantiellement la Théorie du Comportement Planifié (TPB ; Ajzen, 1991). Dans cette approche, l’utilisation effective du numérique pour apprendre dépend de l’intention de l’élève, elle-même déterminée conjointement par son attitude envers l’acte, son sentiment de contrôle sur la situation, et initialement les normes sociales perçues. Lors de la phase de validation exploratoire, la dimension des « aspects sociaux » s’est révélée redondante ou instable sur le plan psychométrique, conduisant les concepteurs à resserrer le volet conatif sur le contrôle perçu et l’évaluation instrumentale du numérique.

Enfin, le modèle s’articule aux cadres de référence européens tels que le cadre DigComp (Digital Competence Framework for Citizens) développé par le Centre commun de recherche de la Commission européenne, tout en adaptant ses standards aux contraintes spécifiques de la cognition de l’enfant et de l’adolescent en contexte scolaire.

7. Validité / Validity

L’évaluation des propriétés psychométriques du Digitest a été menée auprès d’un échantillon représentatif de plus d’un millier d’élèves estoniens scolarisés de la 3^e à la 9^e année du cursus fondamental. Les analyses ont combiné les paradigmes de la psychométrie classique et de la modélisation moderne par la Théorie de la Réponse à l’Item (TRI) :

Validité basée sur la Théorie de la Réponse à l’Item (TRI)

L’analyse des items a été conduite selon un modèle de Rasch et des modèles à paramètres multiples de la TRI afin d’examiner la difficulté intrinsèque, la discrimination et l’adéquation des items (fit statistics) :

• Indices d’ajustement (Infit et Outfit) : Les valeurs de mean-square infit et outfit se sont globalement situées dans les intervalles acceptables pour des tests de performance cognitive en milieu éducatif. Bien que certains items aient ponctuellement présenté des légères variations en dehors des bornes idéales strictes (notamment en outfit pour des items à très faible ou très forte probabilité de succès), ces déviations n’ont pas altéré la cohérence globale de l’échelle, les indices de qualité globale restant satisfaisants.
• Corrélations attendues : La corrélation point-bissérial / corrélation attendue entre la réussite à l’item et le score au trait latent était supérieure au seuil standard recommandé de 0,30 pour la quasi-totalité des 41 items retenus. Seuls deux items ont affiché des corrélations légèrement inférieures, tout en demeurant au-dessus de 0,20, niveau considéré comme empiriquement acceptable en évaluation des apprentissages.
• Paramètres de discrimination : L’analyse de la capacité discriminante des items a confirmé que 39 des 41 items discriminaient de façon optimale les élèves selon leur niveau d’habileté latent (θ). Seuls deux items spécifiques relatifs à la communication numérique (identifiés comme COMM1 et COMM2) se sont situés légèrement en dehors des bornes paramétriques optimales. Néanmoins, l’équipe de recherche a choisi de conserver ces items afin de préserver l’exhaustivité de la validité de contenu du domaine de la communication.

Validité de construit et de contenu

La validité de contenu a été garantie par une démarche itérative d’experts associant des psychologues de l’éducation, des spécialistes de la didactique des technologies et des enseignants de terrain. La validité de construit a été appuyée par une excellente différenciation développementale : les scores d’habileté augmentent de façon monotone et statistiquement significative de la 3^e à la 9^e année, confirmant la sensibilité du Digitest aux apprentissages scolaires et à la maturation cognitive.

8. Fidélité / Reliability

La consistance interne du Digitest a été évaluée au niveau de chacune des dimensions latentes dérivées du modèle factoriel final de second ordre. En raison de la nature multidimensionnelle de l’instrument et des contraintes inhérentes à l’évaluation dichotomique et composite, la fidélité composite (Composite Reliability – CR / coefficient de Raykov ou oméga de McDonald) a été privilégiée par rapport au classique alpha de Cronbach :

• Les coefficients de fidélité composite s’échelonnent de 0,65 à 0,91 pour les différentes variables latentes du modèle.
• Les sous-échelles relatives aux dimensions cognitivo-techniques complexes (notamment les opérations numériques, la création de matériels et le comportement éthico-légal) affichent des valeurs de fidélité élevées (CR > 0,80), démontrant une excellente précision de mesure.
• Les dimensions attitudinales et de contrôle perçu présentent également des niveaux de consistance interne rigoureux, oscillant généralement entre 0,75 et 0,88.
• Les valeurs plus modérées (proches de 0,65) observées sur certaines sous-dimensions très ciblées (comptant un nombre réduit d’items hautement spécifiques, comme certains aspects de la communication) ont été jugées psychométriquement acceptables pour un instrument scolaire généraliste de 41 items, évitant ainsi le piège de la redondance inutile d’items (le paradoxe de l’atténuation).

9. Analyse factorielle / Factor Analysis

La validation empirique de la structure interne du Digitest s’est déroulée en deux phases méthodologiques distinctes : une phase exploratoire pour clarifier le domaine conatif, suivie d’une modélisation factorielle confirmatoire à grande échelle.

Analyse factorielle exploratoire (AFE) des items attitudinaux

Une analyse factorielle exploratoire a été spécifiquement menée sur le pool initial d’items conatifs pour explorer l’organisation des dimensions subjectives. Les analyses portant sur des modèles à trois et quatre facteurs ont révélé une instabilité structurelle majeure concernant les items décrivant les aspects sociaux de l’apprentissage numérique (influence des pairs, attentes perçues des enseignants). Ces items saturaient de façon diffuse et presque équivalente sur plusieurs facteurs à la fois (saturations croisées non interprétables). En conséquence, et sur la base des indices d’ajustement de l’AFE et des calculs de fidélité composite, la dimension des aspects sociaux a été éliminée, consolidant le bloc attitudinal autour du contrôle perçu, des attitudes comportementales et de l’intention.

Analyse factorielle confirmatoire (AFC) et modèles hiérarchiques

Plusieurs modèles structurels concurrents ont été soumis à l’épreuve des données au moyen de l’AFC (estimateurs WLSMV pour données catégorielles/ordinales) :

• Modèle à 9 facteurs de premier ordre : Présentait un bon ajustement aux données, mais laissait inexpliquée l’intercorrélation substantielle existant entre les différents facteurs latents.
• Modèle hiérarchique de second ordre à 3 facteurs : Regroupant les habiletés techniques, la sécurité/éthique et la motivation. Ce modèle démontrait des indices d’ajustement équivalents au modèle à deux facteurs.
• Modèle hiérarchique de second ordre à 2 facteurs : Ce modèle organise les 9 facteurs de premier ordre sous deux macro-facteurs de second ordre : la composante cognitivo-comportementale (6 dimensions) et la composante motivationnelle (3 dimensions).

Bien que les modèles à 9 facteurs, à 2 facteurs d’ordre supérieur et à 3 facteurs d’ordre supérieur aient présenté des indices statistiques d’ajustement empiriquement comparables (CFI > 0,90 ; TLI > 0,90 ; RMSEA ≤ 0,05), c’est le modèle hiérarchique à deux macro-facteurs qui a été définitivement sélectionné par les auteurs. Cette décision a été dictée par le principe de parcimonie scientifique et par sa stricte congruence avec le cadre théorique des compétences de Weinert (2001), qui postule l’existence intégrée d’un pôle d’aptitude cognitive-procédurale et d’un pôle motivationnel-volitionnel.

10. Instrument de mesure / Instrument

• Nom complet de l’instrument : Test d’évaluation des compétences numériques pour l’apprentissage (Digital Competence for Learning Assessment Test — Digitest).
• Type de test : Test standardisé combinant épreuve de performance maximale (habiletés cognitives et techniques appliquées) et épreuve de performance typique (attitudes et intentions autorapportées).
• Nombre total d’items : 41 items.
• Format d’administration : Plateforme numérique en ligne interactive (compatible ordinateur de bureau, ordinateur portable ou tablette scolaire).
• Types de formats de réponse : Six typologies interactives distinctes sont déployées :
  1. Questions à choix multiple avec une seule option correcte (QCM simple) ;
  2. Questions à choix multiples avec plusieurs options correctes (QCM complexe) ;
  3. Tâches de réorganisation et de séquençage d’étapes (classement logique ou chronologique) ;
  4. Exercices d’appariement d’éléments (glisser-déposer / correspondances) ;
  5. Désignation d’un élément visuel au sein d’une image ou d’une capture d’interface (hotspot) ;
  6. Questions ouvertes courtes (requérant une réponse textuelle ou numérique synthétique exacte).
• Système de cotation : Cotation binaire standardisée (1 = réponse correcte / adéquate ; 0 = réponse incorrecte / inadéquate). Pour les échelles d’attitudes et de perception, les réponses sont seuillées ou codées selon la conformité aux modèles de réponse adaptés.
• Population cible : Élèves scolarisés de l’école primaire au collège / lycée inférieur (3^e à la 9^e année d’études ; tranche d’âge de 8 à 16 ans environ).
• Langue d’origine : Estonien. Des adaptations linguistiques pour la recherche sont encadrées par les auteurs originaux.

11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year

• Année de conception et publication : 2023.
• Statut commercial : Non commercial (instrument libre de droits commerciaux pour les usages académiques et de recherche).
• Frais d’utilisation : Gratuit pour la recherche scientifique et les institutions publiques éducatives (aucun coût d’acquisition de licence).
• Conditions d’accès et permissions : Les items intégraux, la plateforme de passation et les guides de cotation informatisée sont protégés par le droit d’auteur universitaire. Tout chercheur ou praticien souhaitant accéder à la batterie complète, la traduire ou l’implémenter dans une étude doit impérativement adresser une demande formelle à l’auteure correspondante : Külli Kallas ([email protected]), Institut d’Éducation de l’Université de Tartu.

12. Références / References

Les publications fondatrices et cadres conceptuels relatifs au Digitest incluent les références universitaires suivantes :

• Adov, L. (2022). Supporting students’ digital competence and self-regulated learning in technology-rich learning environments (Doctoral dissertation, University of Tartu). Tartu University Press.
• Ajzen, I. (1991). The theory of planned behavior. Organizational Behavior and Human Decision Processes, 50(2), 179–211. https://doi.org/10.1016/0749-5978(91)90020-T
• Pedaste, M., Kallas, K., & Baucal, A. (2023). Digital competence test for learning in schools: Development of items and scales. Computers & Education, 203, 104830. https://doi.org/10.1016/j.compedu.2023.104830
• Pedaste, M., Leijen, Ä., Poom-Valickis, K., & Eisenschmidt, E. (2021). Developing a comprehensive framework for digital competence of teachers and students. Educational Technology Research and Development, 69(3), 1641–1668. https://doi.org/10.1007/s11423-021-10008-0
• Weinert, F. E. (2001). Concept of competence: A conceptual clarification. Dans D. S. Rychen & L. H. Salganik (dir.), Defining and selecting key competencies (pp. 45–65). Hogrefe & Huber Publishers.

13. Questions et items du questionnaire / Scale Items