Échelle de connaissances en intelligence artificielle

1. Résumé / Abstract

L’Échelle de connaissances en intelligence artificielle (AI Knowledge Scale), conçue et validée par Sophie Kerstan, Nadine Bienefeld et Gudela Grote (2024) à l’ETH Zurich, représente un instrument psychométrique novateur visant à évaluer de manière empirique et rigoureuse les connaissances objectives relatives aux principes fondamentaux de l’intelligence artificielle (IA). Contrairement aux mesures d’auto-évaluation de la littératie numérique ou des connaissances perçues (subjectives), cette échelle opère une quantification des compétences cognitives réelles des individus face aux mécanismes computationnels, à l’apprentissage automatique, aux réseaux neuronaux et aux limites inhérentes des algorithmes prédictifs. Développée dans le cadre de recherches portant sur la confiance comparée accordée aux systèmes d’IA versus aux praticiens humains dans le domaine de la santé, elle se compose de 6 items factuels formulés sous forme d’énoncés Vrai/Faux couplés à une échelle d’évaluation de la certitude métacognitive (de 0 = incertain à 3 = certain).

La procédure de cotation applique un paradigme strict de pénalisation du hasard : seule une réponse correcte accompagnée d’un degré maximal de certitude (score de 3) est créditée d’un point (1), tandis que les réponses inexactes ou associées à un doute épistémique sont cotées 0. Sur le plan psychométrique, l’échelle a été calibrée selon les modèles de la théorie de réponse aux items non paramétrique (Mokken Scale Analysis), révélant une scalabilité acceptable avec un coefficient $H$ de Loevinger de 0,34. La consistance interne, mesurée par la statistique de Molenaar-Sijtsma ($MS = 0,62$), s’avère conforme aux standards des tests de connaissances scientifiques générales. L’analyse factorielle confirmatoire intégrée dans un modèle structurel global valide l’adéquation de la mesure ($\chi^2/df = 1,84$, $\text{CFI} = 0,91$, $\text{RMSEA} = 0,04$, $\text{SRMR} = 0,06$), faisant de cet outil un étalon privilégié pour la recherche en psychologie ergonomique, en interaction humain-machine (HMI) et en acceptabilité sociotechnique.

2. Mots-clés / Keywords

Intelligence artificielle, Connaissances objectives, Psychométrie, Interaction humain-machine, Confiance technologique, Analyse de Mokken, Littératie en IA, Théorie de réponse aux items, Prise de décision médicale, Évaluation des risques, Métacognition, Biais algorithmique.

3. Auteurs / Authors

L’échelle a été conçue au sein du Département de gestion, technologie et économie (D-MTEC) de l’ETH Zurich (Suisse), par une équipe de chercheurs spécialisés en psychologie du travail, des organisations et des interactions technologiques :

• Sophie Kerstan : Chercheuse et doctorante, Work and Organizational Psychology, Department of Management, Technology, and Economics, ETH Zurich, Zurich, Suisse. Courriel institutionnel : [email protected]. Identifiant ORCID : 0000-0002-3987-1282.
• Dr. Nadine Bienefeld : Maître de conférences et chercheuse senior, Center for Collaborative Technology and Innovation, ETH Zurich, Zurich, Suisse. Spécialiste de la collaboration humain-IA et des dynamiques d’équipe en environnements à haute fiabilité. Identifiant ORCID : 0000-0001-8575-3413.
• Prof. Dr. Gudela Grote : Professeure titulaire de psychologie du travail et des organisations, Department of Management, Technology, and Economics, ETH Zurich, Zurich, Suisse. Experte reconnue de la gestion de l’incertitude, de la standardisation et de l’autonomie dans les systèmes sociotechniques. Identifiant ORCID : 0000-0002-8613-2882.

Adresse de correspondance institutionnelle :
Sophie Kerstan, ETH Zurich, Department of Management, Technology, and Economics, Work and Organizational Psychology, Weinbergstrasse 56/58, 8092 Zurich, Suisse.

4. Objectif / Purpose

L’objectif fondamental de l’AI Knowledge Scale est de fournir un instrument standardisé, bref et psychométriquement robuste permettant d’isoler et de quantifier le niveau de connaissances objectives des individus concernant l’intelligence artificielle. Dans le champ contemporain des sciences comportementales et de l’interaction humain-machine (HMI), une confusion récurrente persiste entre les connaissances déclaratives subjectives (l’auto-évaluation par l’individu de ce qu’il croit comprendre de l’IA, assimilable au sentiment de familiarité) et les connaissances factuelles effectives (la maîtrise vérifiable des lois mathématiques, fonctionnelles et des limites d’un système numérique).

Cette distinction s’avère cruciale sur le plan théorique et appliqué. Comme l’ont souligné de nombreux travaux en psychologie cognitive (notamment autour de l’effet Dunning-Kruger), les profanes ont tendance à surestimer drastiquement leurs compétences relatives aux technologies complexes émergentes. Dans l’étude princeps menée par Kerstan, Bienefeld et Grote (2024), les auteures cherchaient à modéliser comment la perception comparative de confiance accordée à l’IA versus aux médecins humains influençait les évaluations de risques et de bénéfices sanitaires. Le niveau de connaissance réelle agit comme un puissant médiateur cognitif : un déficit de compréhension algorithmique alimente des fantasmes technologiques contradictoires, allant de l’aversion algorithmique radicale (peur irrationnelle, soupçon d’erreur permanente) à l’appréciation aveugle et acritique (croyance infondée en une neutralité mathématique absolue ou une infaillibilité logicielle).

L’échelle s’adresse à de multiples applications :

• Recherche fondamentale et expérimentale : Elle permet d’établir des profils d’utilisateurs fiables afin d’analyser la dynamique d’adoption, les biais d’automatisation (automation bias) et la formation de la confiance interpersonnelle et technologique.
• Pratique organisationnelle et santé publique : Elle offre aux institutions la possibilité de diagnostiquer les besoins pédagogiques réels des collaborateurs, soignants ou patients préalablement au déploiement d’outils d’aide à la décision algorithmique.
• Conception d’interfaces explicables (XAI) : Elle permet d’adapter le niveau d’explicabilité requis en fonction de l’expertise factuelle documentée de la population cible, maximisant ainsi l’ergonomie cognitive.

5. Construit psychologique / Construct

Le construit mesuré par l’échelle est la connaissance objective en intelligence artificielle (Objective Artificial Intelligence Knowledge). Contrairement aux échelles d’attitudes ou de sentiment d’efficacité personnelle vis-à-vis des outils numériques, ce construit appartient au domaine des aptitudes cognitives cristallisées et de la littératie scientifique appliquée. Il opérationnalise la capacité du sujet à discriminer avec précision et certitude les vérités empiriques des idées reçues concernant l’architecture, les capacités et les failles de l’IA.

Le construit se déploie à travers plusieurs dimensions conceptuelles interconnectées au sein des 6 items de l’échelle :

• L’architecture de l’apprentissage profond (Deep Learning) et des réseaux neuronaux : Cette dimension examine la compréhension des structures computationnelles stratifiées. L’item 1 évalue la connaissance selon laquelle le deep learning s’appuie sur des réseaux de neurones artificiels comportant de multiples couches de traitement dissimulées (hidden layers), capables d’extraire des représentations abstraites des données.
• L’objectivité, l’équité algorithmique et les biais décisionnels : L’un des piliers de la littératie critique en IA concerne la réfutation du mythe de la neutralité totale. L’item 2 explore la reconnaissance du fait que les sorties générées par l’IA ne sont pas intrinsèquement exemptes de biais (algorithmic bias), car elles reproduisent, amplifient ou modélisent des distorsions présentes dans les données d’entraînement ou dans les choix de modélisation humaine.
• Les métriques de performance computationnelle matérielle : La compréhension des contraintes physiques et techniques sous-jacentes à l’IA nécessite une familiarité avec les unités de mesure matérielles. L’item 3 sonde la connaissance de l’acronyme FLOPS (Floating Point Operations Per Second) comme étalon de mesure de la puissance de calcul des processeurs graphiques (GPU) et accélérateurs tensoriels dédiés à l’entraînement des modèles.
• Les typologies d’apprentissage automatique (Supervisé vs Non supervisé) : Cette composante technique dissocie la nature des jeux de données d’apprentissage. L’item 4 teste la capacité du sujet à distinguer l’apprentissage supervisé (qui recourt à des données étiquetées/annotées) de l’apprentissage non supervisé (qui découvre des motifs endogènes sans labels préalables).
• L’évaluation philosophique et opérationnelle de l’intelligence machine : L’item 5 démystifie les protocoles d’évaluation historique en abordant le célèbre test de Turing. Il s’agit de vérifier si le répondant sait que ce test vise à déterminer si une machine peut imiter le comportement linguistique humain de façon indiscernable, et non à prouver qu’un humain est plus intelligent qu’une machine.
• La nature heuristique et inductive de l’IA contemporaine : L’item 6 sonde la rupture fondamentale entre les anciens systèmes experts déterministes et l’IA statistique moderne, en testant la compréhension du fait que l’IA contemporaine ne repose pas uniquement sur des règles de décision prédéfinies à la main par des programmeurs humains, mais dérive ses propres représentations stochastiques à partir de vastes corpus de données.

En intégrant simultanément la justesse de la réponse et la certitude épistémique du sujet, le construit isole le savoir consolidé du simple hasard ou de la familiarité intuitive trompeuse.

6. Cadre théorique / Theoretical Framework

L’ancrage théorique de l’AI Knowledge Scale se situe au confluent de la psychologie cognitive, de la métacognition et des théories sociotechniques de l’acceptabilité technologique. Historiquement, l’évaluation des technologies dans la sphère publique a été dominée par des modèles d’attitudes, tels que le Technology Acceptance Model (TAM) développé par Davis (1989), ou la théorie unifiée de l’acceptation et de l’utilisation des technologies (UTAUT) de Venkatesh et al. Toutefois, ces modèles présupposent une perception rationnelle de l’utilité et de la facilité d’utilisation, sans investiguer si l’utilisateur possède une compréhension minimale du mécanisme sous-jacent de l’artefact.

Le cadre théorique de Kerstan et ses collaboratrices s’appuie sur la littérature médicale et technologique contemporaine (notamment les travaux séminaux d’Eric Topol, 2019, sur la médecine augmentée) et sur le paradigme du Risk-Benefit Framework dans la prise de décision en situation d’incertitude. Lorsque les citoyens ou les patients sont confrontés à des technologies opaques dites de « boîte noire » (black-box AI), leurs jugements heuristiques sont gouvernés par le manque d’assise cognitive. Selon la théorie de la calibration cognitive (Koriat, 1997 ; Lichtenstein, Fischhoff, & Phillips, 1982), un individu mal calibré métacognitivement – c’est-à-dire qui se trompe tout en étant intimement persuadé d’avoir raison – présente des comportements décisionnels plus dangereux et rigides qu’un individu conscient de son ignorance.

L’introduction d’un double continuum de réponse (Vrai/Faux couplé à une échelle de certitude) s’enracine dans la théorie du calibrage du savoir objectif (Bearth et al., 2019). Cette modélisation postule que le savoir réel se définit comme une croyance vraie justifiée et assumée (justified true belief). Dans les processus d’interaction humain-technologie, la confiance découle non pas d’un optimisme aveugle, mais d’une compréhension rationnelle des vecteurs de risque : vulnérabilité aux données biaisées, limites d’inférence statistique et complémentarité homme-machine. Dès lors, l’échelle opérationnalise le cadre théorique selon lequel une littératie algorithmique précise tempère à la fois l’hyper-confiance technophile et la technophobie défensive.

7. Validité / Validity

La validité psychométrique de l’AI Knowledge Scale a été investiguée selon une démarche méthodologique rigoureuse combinant des analyses de modèles non paramétriques et des vérifications de validité nomologique et factorielle :

• Validité de contenu (Content Validity) : Les items ont été formulés à la suite d’une revue systématique de la littérature en sciences informatiques, en bioéthique et en santé numérique (s’inspirant notamment des travaux de Topol, 2019). La sélection initiale des énoncés a fait l’objet d’un pré-test minutieux sur un échantillon indépendant recruté via la plateforme Prolific, permettant d’éliminer les items ambigus, excessivement ardus ou générant des confusions sémantiques.
• Modélisation par la théorie des réponses aux items (TRI / Mokken Scale Analysis) : En raison de la nature dichotomique et formative du score final, les auteures ont procédé à une analyse d’échelle de Mokken. Cette approche non paramétrique permet d’évaluer la scalabilité univariée des items ordonnés hiérarchiquement. Le coefficient global de Loevinger obtenu est de $H = 0,34$. Selon les critères méthodologiques établis par Mokken (1971) et Sijtsma & Molenaar (2002), une valeur $0,30 le H < 0,40$ atteste d'une échelle ordinale valide et mutuellement scalable, confirmant que tous les items s'alignent le long d'un même continuum d'aptitude cognitive sous-jacente.
• Validité convergente et nomologique : La validité de construit a été appuyée par l’observation d’une corrélation positive statistiquement significative entre le score à l’échelle de connaissances en IA et les mesures standardisées de connaissances scientifiques générales administrées aux participants. Ce résultat confirme que la littératie algorithmique partage une variance commune avec l’esprit scientifique global, tout en conservant sa spécificité technique.
• Validité critériée et prédictive : Au sein du modèle structurel global développé par Kerstan et al. (2024), les connaissances objectives en IA prédisent de manière statistiquement significative les perceptions différentielles de risque et de bénéfice associées aux applications de l’IA en médecine clinique. Les répondants ayant un score élevé sur cette échelle manifestent des attentes plus réalistes, évaluant avec plus de rigueur les risques inhérents aux biais algorithmiques comparativement aux erreurs diagnostiques humaines.

8. Fidélité / Reliability

L’estimation de la consistance interne pour les échelles de connaissances factuelles composées d’un nombre restreint d’items dichotomiques soulève des limites méthodologiques majeures lorsqu’on applique le traditionnel coefficient alpha de Cronbach, ce dernier sous-estimant structurellement la fidélité des variables non continues et asymétriques. Pour surmonter cette contrainte, les chercheuses de l’ETH Zurich ont recouru à la métrique de référence issue de la théorie de Mokken : la statistique de Molenaar-Sijtsma ($MS$).

La valeur de consistance interne obtenue par la statistique de Molenaar-Sijtsma est de :

$MS = 0,62$

Ce niveau de consistance interne est jugé tout à fait adéquat et cohérent avec les coefficients observés dans la littérature psychométrique pour des tests de connaissances objectives généraux courts (par exemple, les travaux de Bearth, Cousin, & Siegrist, 2019, relatifs aux connaissances chimiques et toxicologiques du grand public). Dans le domaine des tests cognitifs standardisés courts (6 items), une statistique de consistance de $0,62$ reflète un équilibre optimal : elle assure l’homogénéité du construit sans induire une redondance tautologique entre les items. La variabilité des réponses atteste d’une bonne sensibilité discriminatoire, l’instrument parvenant à séparer efficacement les individus disposant d’un socle technique vérifié de ceux formulant des suppositions aléatoires.

9. Analyse factorielle / Factor Analysis

Afin de valider la position structurelle de l’échelle au sein de leur modélisation des attitudes technologiques, Kerstan, Bienefeld et Grote (2024) ont réalisé une Analyse Factorielle Confirmatoire (AFC) multivariée à l’aide de progiciels d’équations structurelles (SEM).

L’échelle de connaissances en IA s’insérait au sein d’un modèle structurel global à 5 facteurs mesurant la confiance comparée, les perceptions de risques et bénéfices, les connaissances scientifiques et les connaissances spécifiques en IA. Les indices d’adéquation statistique obtenus attestent d’un excellent ajustement du modèle aux données empiriques recueillies auprès de l’échantillon d’adultes :

• Chi-deux de l’ajustement : $\chi^2 = 1008,46$ avec $df = 547$ ($p < 0,001$)
• Rapport de parcimonie : $\chi^2 / df = 1,84$ (valeur remarquablement inférieure au seuil strict de $3,0$, et même de $2,0$, démontrant une congruence optimale)
• Indice de comparabilité (CFI) : $\text{CFI} = 0,91$ (supérieur au critère de référence de $0,90$)
• Indice de Tucker-Lewis (TLI) : $\text{TLI} = 0,90$ (satisfaisant aux normes académiques d’adéquation)
• Erreur quadratique moyenne d’approximation (RMSEA) : $\text{RMSEA} = 0,04$ (avec un intervalle de confiance à 90 % inférieur aux seuils critiques de $0,05$, indiquant une excellente précision d’estimation dans la population)
• Résidu quadratique moyen standardisé (SRMR) : $\text{SRMR} = 0,06$ (inférieur au plafond usuel de $0,08$)

L’examen des saturations factorielles standardisées confirme que la totalité des 6 items contribue de façon statistiquement significative ($p < 0,001$) au facteur latent de connaissance en IA. Aucune saturation croisée pathologique ni aucune redondance d'erreur de covariance n'a été relevée, ce qui conforte l'unidimensionnalité fonctionnelle de la mesure sous-jacente.

10. Instrument de mesure / Instrument

L’AI Knowledge Scale se présente sous une structure modulaire conçue pour une passation informatisée rapide (durée moyenne de remplissage estimée à moins de 3 minutes). Ses caractéristiques structurales sont les suivantes :

• Type d’évaluation : Test de connaissances cognitives objectives avec contrôle de la certitude métacognitive.
• Nombre total d’items : 6 propositions factuelles relatives aux sciences informatiques et algorithmiques.
• Format d’administration : Questionnaire numérique auto-administré (compatible ordinateurs de bureau, tablettes et terminaux mobiles).
• Modalité de réponse en deux étapes par item :
  • Étape A (Justesse déclarée) : Choix binaire forcé entre Vrai (True) et Faux (False).
  • Étape B (Indice de certitude subjective) : Échelle en 4 points évaluant la conviction du sujet :
    • $0$ = Incertain (unsure)
    • $1$ = Plutôt incertain (slightly unsure)
    • $2$ = Plutôt certain (slightly sure)
    • $3$ = Certain (sure)
• Règle de cotation et de scoring :
  • Pour chaque item, un score binaire de 1 est accordé si et seulement si le participant identifie la réponse exacte (Vrai ou Faux selon la clé de correction) ET indique un niveau maximal de confiance ($3 = \text{Certain}$).
  • Tout autre cas de figure reçoit un score de 0 : une réponse inexacte, une réponse exacte assortie d’un doute ($0, 1$ ou $2$ sur l’échelle de certitude), ou une omission.
  • Score total de l’échelle : Somme arithmétique simple des items codés, comprise entre 0 et 6 points. Un score de 0 à 2 indique une littératie objective faible ou dominée par l’incertitude ; un score de 3 à 4 reflète un niveau intermédiaire ; un score de 5 à 6 traduit une maîtrise avancée et calibrée des principes opérationnels de l’intelligence artificielle.

11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year

• Année de publication princeps : 2024.
• Droits d’auteur et propriété intellectuelle : Détenus par Sophie Kerstan, Nadine Bienefeld et Gudela Grote, ainsi que par la revue Risk Analysis (Society for Risk Analysis / John Wiley & Sons, Inc.).
• Statut d’utilisation et permissions : L’article fondateur ayant été publié en accès ouvert (Open Access), l’utilisation des items pour la recherche académique, scientifique et pédagogique non commerciale est autorisée sans frais, sous réserve d’une citation bibliographique formelle et intégrale de l’article de référence (Kerstan et al., 2024).
• Tarifs d’administration : Gratuit pour les chercheurs académiques et les établissements d’enseignement supérieur. Toute adaptation commerciale, intégration dans un logiciel payant de recrutement ou monétisation dans des tests de sélection professionnelle nécessite l’accord explicite préalable des autrices correspondantes.

12. Références / References

Les sources théoriques et empiriques mobilisées pour la construction et l’analyse psychométrique de l’outil sont les suivantes :

• Bearth, A., Cousin, M. E., & Siegrist, M. (2019). The chemical knowledge scale: Developing and validating a tool to measure laypeople’s knowledge of basic chemical principles. Risk Analysis, 39(8), 1836–1850. https://doi.org/10.1111/risa.13282
• Davis, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly, 13(3), 319–340. https://doi.org/10.2307/249008
• Kerstan, S., Bienefeld, N., & Grote, G. (2024). Choosing human over AI doctors? How comparative trust associations and knowledge relate to risk and benefit perceptions of AI in healthcare. Risk Analysis, 44(4), 939–957. https://doi.org/10.1111/risa.14216
• Koriat, A. (1997). The easy-to-hard effect in overconfidence: When and why it occurs. Journal of Experimental Psychology: Learning, Memory, and Cognition, 23(4), 1017–1035. https://doi.org/10.1037/0278-7393.23.4.1017
• Lichtenstein, S., Fischhoff, B., & Phillips, L. D. (1982). Calibration of probabilities: The state of the art to 1980. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment under Uncertainty: Heuristics and Biases (pp. 306–334). Cambridge University Press. https://doi.org/10.1017/CBO9780511809477.023
• Mokken, R. J. (1971). A theory and procedure of scale analysis: With applications in political research. De Gruyter Mouton. https://doi.org/10.1515/9783110813203
• Sijtsma, K., & Molenaar, I. W. (2002). Introduction to nonparametric item response theory. SAGE Publications. https://doi.org/10.4135/9781412984676
• Topol, E. J. (2019). High-performance medicine: the convergence of human and artificial intelligence. Nature Medicine, 25(1), 44–56. https://doi.org/10.1038/s41591-018-0300-7
• Venkatesh, V., Morris, M. G., Davis, G. B., & Davis, F. D. (2003). User acceptance of information technology: Toward a unified view. MIS Quarterly, 27(3), 425–478. https://doi.org/10.2307/30036540

13. Questions et items du questionnaire / Scale Items

Les instructions d’administration imposent de présenter aux participants les énoncés factuels ci-dessous. Pour chaque énoncé, le participant doit d’abord déterminer si l’affirmation est Vraie ou Fausse, puis évaluer son niveau de certitude quant à sa réponse sur une échelle de 0 (incertain) à 3 (certain). Conformément aux règles psychométriques de l’échelle, les items originaux en langue anglaise doivent être administrés tels que validés par les auteures :