L’\u00c9chelle de connaissances en intelligence artificielle<\/strong> (AI Knowledge Scale<\/em>), con\u00e7ue et valid\u00e9e par Sophie Kerstan<\/a>, Nadine Bienefeld<\/a> et Gudela Grote<\/a> (2024) \u00e0 l’ETH Zurich<\/a>, repr\u00e9sente un instrument psychom\u00e9trique novateur visant \u00e0 \u00e9valuer de mani\u00e8re empirique et rigoureuse les connaissances objectives relatives aux principes fondamentaux de l’intelligence artificielle<\/a> (IA). Contrairement aux mesures d’auto-\u00e9valuation de la litt\u00e9ratie num\u00e9rique ou des connaissances per\u00e7ues (subjectives), cette \u00e9chelle op\u00e8re une quantification des comp\u00e9tences cognitives r\u00e9elles des individus face aux m\u00e9canismes computationnels, \u00e0 l’apprentissage automatique, aux r\u00e9seaux neuronaux et aux limites inh\u00e9rentes des algorithmes pr\u00e9dictifs. D\u00e9velopp\u00e9e dans le cadre de recherches portant sur la confiance compar\u00e9e accord\u00e9e aux syst\u00e8mes d’IA versus aux praticiens humains dans le domaine de la sant\u00e9, elle se compose de 6 items factuels formul\u00e9s sous forme d’\u00e9nonc\u00e9s Vrai\/Faux coupl\u00e9s \u00e0 une \u00e9chelle d’\u00e9valuation de la certitude m\u00e9tacognitive (de 0 = incertain \u00e0 3 = certain).<\/p>\n La proc\u00e9dure de cotation applique un paradigme strict de p\u00e9nalisation du hasard : seule une r\u00e9ponse correcte accompagn\u00e9e d’un degr\u00e9 maximal de certitude (score de 3) est cr\u00e9dit\u00e9e d’un point (1), tandis que les r\u00e9ponses inexactes ou associ\u00e9es \u00e0 un doute \u00e9pist\u00e9mique sont cot\u00e9es 0. Sur le plan psychom\u00e9trique, l’\u00e9chelle a \u00e9t\u00e9 calibr\u00e9e selon les mod\u00e8les de la th\u00e9orie de r\u00e9ponse aux items non param\u00e9trique (Mokken Scale Analysis<\/a>), r\u00e9v\u00e9lant une scalabilit\u00e9 acceptable avec un coefficient $H$<\/span> de Loevinger de 0,34. La consistance interne, mesur\u00e9e par la statistique de Molenaar-Sijtsma ($MS = 0,62$<\/span>), s’av\u00e8re conforme aux standards des tests de connaissances scientifiques g\u00e9n\u00e9rales. L’analyse factorielle confirmatoire int\u00e9gr\u00e9e dans un mod\u00e8le structurel global valide l’ad\u00e9quation de la mesure ($\\chi^2\/df = 1,84$<\/span>, $\\text{CFI} = 0,91$<\/span>, $\\text{RMSEA} = 0,04$<\/span>, $\\text{SRMR} = 0,06$<\/span>), faisant de cet outil un \u00e9talon privil\u00e9gi\u00e9 pour la recherche en psychologie ergonomique, en interaction humain-machine (HMI) et en acceptabilit\u00e9 sociotechnique.<\/p>\n Intelligence artificielle, Connaissances objectives, Psychom\u00e9trie, Interaction humain-machine, Confiance technologique, Analyse de Mokken, Litt\u00e9ratie en IA, Th\u00e9orie de r\u00e9ponse aux items, Prise de d\u00e9cision m\u00e9dicale, \u00c9valuation des risques, M\u00e9tacognition, Biais algorithmique.<\/p>\n L’\u00e9chelle a \u00e9t\u00e9 con\u00e7ue au sein du D\u00e9partement de gestion, technologie et \u00e9conomie (D-MTEC) de l’ETH Zurich<\/strong> (Suisse), par une \u00e9quipe de chercheurs sp\u00e9cialis\u00e9s en psychologie du travail, des organisations et des interactions technologiques :<\/p>\n Adresse de correspondance institutionnelle :<\/strong> L’objectif fondamental de l’AI Knowledge Scale<\/strong> est de fournir un instrument standardis\u00e9, bref et psychom\u00e9triquement robuste permettant d’isoler et de quantifier le niveau de connaissances objectives<\/em> des individus concernant l’intelligence artificielle. Dans le champ contemporain des sciences comportementales et de l’interaction humain-machine (HMI), une confusion r\u00e9currente persiste entre les connaissances d\u00e9claratives subjectives (l’auto-\u00e9valuation par l’individu de ce qu’il croit comprendre de l’IA, assimilable au sentiment de familiarit\u00e9) et les connaissances factuelles effectives (la ma\u00eetrise v\u00e9rifiable des lois math\u00e9matiques, fonctionnelles et des limites d’un syst\u00e8me num\u00e9rique).<\/p>\n Cette distinction s’av\u00e8re cruciale sur le plan th\u00e9orique et appliqu\u00e9. Comme l’ont soulign\u00e9 de nombreux travaux en psychologie cognitive (notamment autour de l’effet Dunning-Kruger<\/a>), les profanes ont tendance \u00e0 surestimer drastiquement leurs comp\u00e9tences relatives aux technologies complexes \u00e9mergentes. Dans l’\u00e9tude princeps men\u00e9e par Kerstan, Bienefeld et Grote (2024), les auteures cherchaient \u00e0 mod\u00e9liser comment la perception comparative de confiance accord\u00e9e \u00e0 l’IA versus aux m\u00e9decins humains influen\u00e7ait les \u00e9valuations de risques et de b\u00e9n\u00e9fices sanitaires. Le niveau de connaissance r\u00e9elle agit comme un puissant m\u00e9diateur cognitif : un d\u00e9ficit de compr\u00e9hension algorithmique alimente des fantasmes technologiques contradictoires, allant de l’aversion algorithmique radicale (peur irrationnelle, soup\u00e7on d’erreur permanente) \u00e0 l’appr\u00e9ciation aveugle et acritique (croyance infond\u00e9e en une neutralit\u00e9 math\u00e9matique absolue ou une infaillibilit\u00e9 logicielle).<\/p>\n L’\u00e9chelle s’adresse \u00e0 de multiples applications :<\/p>\n Le construit mesur\u00e9 par l’\u00e9chelle est la connaissance objective en intelligence artificielle<\/strong> (Objective Artificial Intelligence Knowledge<\/em>). Contrairement aux \u00e9chelles d’attitudes ou de sentiment d’efficacit\u00e9 personnelle vis-\u00e0-vis des outils num\u00e9riques, ce construit appartient au domaine des aptitudes cognitives cristallis\u00e9es et de la litt\u00e9ratie scientifique appliqu\u00e9e. Il op\u00e9rationnalise la capacit\u00e9 du sujet \u00e0 discriminer avec pr\u00e9cision et certitude les v\u00e9rit\u00e9s empiriques des id\u00e9es re\u00e7ues concernant l’architecture, les capacit\u00e9s et les failles de l’IA.<\/p>\n Le construit se d\u00e9ploie \u00e0 travers plusieurs dimensions conceptuelles interconnect\u00e9es au sein des 6 items de l’\u00e9chelle :<\/p>\n En int\u00e9grant simultan\u00e9ment la justesse de la r\u00e9ponse et la certitude \u00e9pist\u00e9mique du sujet, le construit isole le savoir consolid\u00e9 du simple hasard ou de la familiarit\u00e9 intuitive trompeuse.<\/p>\n L’ancrage th\u00e9orique de l’AI Knowledge Scale<\/strong> se situe au confluent de la psychologie cognitive<\/a>, de la m\u00e9tacognition et des th\u00e9ories sociotechniques de l’acceptabilit\u00e9 technologique. Historiquement, l’\u00e9valuation des technologies dans la sph\u00e8re publique a \u00e9t\u00e9 domin\u00e9e par des mod\u00e8les d’attitudes, tels que le Technology Acceptance Model (TAM)<\/a> d\u00e9velopp\u00e9 par Davis (1989), ou la th\u00e9orie unifi\u00e9e de l’acceptation et de l’utilisation des technologies (UTAUT<\/a>) de Venkatesh et al. Toutefois, ces mod\u00e8les pr\u00e9supposent une perception rationnelle de l’utilit\u00e9 et de la facilit\u00e9 d’utilisation, sans investiguer si l’utilisateur poss\u00e8de une compr\u00e9hension minimale du m\u00e9canisme sous-jacent de l’artefact.<\/p>\n Le cadre th\u00e9orique de Kerstan et ses collaboratrices s’appuie sur la litt\u00e9rature m\u00e9dicale et technologique contemporaine (notamment les travaux s\u00e9minaux d’Eric Topol, 2019, sur la m\u00e9decine augment\u00e9e) et sur le paradigme du Risk-Benefit Framework<\/em> dans la prise de d\u00e9cision en situation d’incertitude. Lorsque les citoyens ou les patients sont confront\u00e9s \u00e0 des technologies opaques dites de \u00ab bo\u00eete noire \u00bb (black-box AI<\/em>), leurs jugements heuristiques sont gouvern\u00e9s par le manque d’assise cognitive. Selon la th\u00e9orie de la calibration cognitive (Koriat, 1997 ; Lichtenstein, Fischhoff, & Phillips, 1982), un individu mal calibr\u00e9 m\u00e9tacognitivement \u2013 c’est-\u00e0-dire qui se trompe tout en \u00e9tant intimement persuad\u00e9 d’avoir raison \u2013 pr\u00e9sente des comportements d\u00e9cisionnels plus dangereux et rigides qu’un individu conscient de son ignorance.<\/p>\n L’introduction d’un double continuum de r\u00e9ponse (Vrai\/Faux coupl\u00e9 \u00e0 une \u00e9chelle de certitude) s’enracine dans la th\u00e9orie du calibrage du savoir objectif (Bearth et al., 2019). Cette mod\u00e9lisation postule que le savoir r\u00e9el se d\u00e9finit comme une croyance vraie justifi\u00e9e et assum\u00e9e (justified true belief<\/em>). Dans les processus d’interaction humain-technologie, la confiance d\u00e9coule non pas d’un optimisme aveugle, mais d’une compr\u00e9hension rationnelle des vecteurs de risque : vuln\u00e9rabilit\u00e9 aux donn\u00e9es biais\u00e9es, limites d’inf\u00e9rence statistique et compl\u00e9mentarit\u00e9 homme-machine. D\u00e8s lors, l’\u00e9chelle op\u00e9rationnalise le cadre th\u00e9orique selon lequel une litt\u00e9ratie algorithmique pr\u00e9cise temp\u00e8re \u00e0 la fois l’hyper-confiance technophile et la technophobie d\u00e9fensive.<\/p>\n La validit\u00e9 psychom\u00e9trique de l’AI Knowledge Scale<\/strong> a \u00e9t\u00e9 investigu\u00e9e selon une d\u00e9marche m\u00e9thodologique rigoureuse combinant des analyses de mod\u00e8les non param\u00e9triques et des v\u00e9rifications de validit\u00e9 nomologique et factorielle :<\/p>\n L’estimation de la consistance interne pour les \u00e9chelles de connaissances factuelles compos\u00e9es d’un nombre restreint d’items dichotomiques soul\u00e8ve des limites m\u00e9thodologiques majeures lorsqu’on applique le traditionnel coefficient alpha de Cronbach, ce dernier sous-estimant structurellement la fid\u00e9lit\u00e9 des variables non continues et asym\u00e9triques. Pour surmonter cette contrainte, les chercheuses de l’ETH Zurich ont recouru \u00e0 la m\u00e9trique de r\u00e9f\u00e9rence issue de la th\u00e9orie de Mokken : la statistique de Molenaar-Sijtsma ($MS$<\/span>)<\/strong>.<\/p>\n La valeur de consistance interne obtenue par la statistique de Molenaar-Sijtsma est de :<\/p>\n $MS = 0,62$<\/span><\/strong><\/p>\n Ce niveau de consistance interne est jug\u00e9 tout \u00e0 fait ad\u00e9quat et coh\u00e9rent avec les coefficients observ\u00e9s dans la litt\u00e9rature psychom\u00e9trique pour des tests de connaissances objectives g\u00e9n\u00e9raux courts (par exemple, les travaux de Bearth, Cousin, & Siegrist, 2019, relatifs aux connaissances chimiques et toxicologiques du grand public). Dans le domaine des tests cognitifs standardis\u00e9s courts (6 items), une statistique de consistance de $0,62$ refl\u00e8te un \u00e9quilibre optimal : elle assure l’homog\u00e9n\u00e9it\u00e9 du construit sans induire une redondance tautologique entre les items. La variabilit\u00e9 des r\u00e9ponses atteste d’une bonne sensibilit\u00e9 discriminatoire, l’instrument parvenant \u00e0 s\u00e9parer efficacement les individus disposant d’un socle technique v\u00e9rifi\u00e9 de ceux formulant des suppositions al\u00e9atoires.<\/p>\n Afin de valider la position structurelle de l’\u00e9chelle au sein de leur mod\u00e9lisation des attitudes technologiques, Kerstan, Bienefeld et Grote (2024) ont r\u00e9alis\u00e9 une Analyse Factorielle Confirmatoire (AFC)<\/strong> multivari\u00e9e \u00e0 l’aide de progiciels d’\u00e9quations structurelles (SEM<\/a>).<\/p>\n L’\u00e9chelle de connaissances en IA s’ins\u00e9rait au sein d’un mod\u00e8le structurel global \u00e0 5 facteurs mesurant la confiance compar\u00e9e, les perceptions de risques et b\u00e9n\u00e9fices, les connaissances scientifiques et les connaissances sp\u00e9cifiques en IA. Les indices d’ad\u00e9quation statistique obtenus attestent d’un excellent ajustement du mod\u00e8le aux donn\u00e9es empiriques recueillies aupr\u00e8s de l’\u00e9chantillon d’adultes :<\/p>\n L’examen des saturations factorielles standardis\u00e9es confirme que la totalit\u00e9 des 6 items contribue de fa\u00e7on statistiquement significative ($p < 0,001$) au facteur latent de connaissance en IA. Aucune saturation crois\u00e9e pathologique ni aucune redondance d'erreur de covariance n'a \u00e9t\u00e9 relev\u00e9e, ce qui conforte l'unidimensionnalit\u00e9 fonctionnelle de la mesure sous-jacente.<\/p>\n L’AI Knowledge Scale<\/strong> se pr\u00e9sente sous une structure modulaire con\u00e7ue pour une passation informatis\u00e9e rapide (dur\u00e9e moyenne de remplissage estim\u00e9e \u00e0 moins de 3 minutes). Ses caract\u00e9ristiques structurales sont les suivantes :<\/p>\n Les sources th\u00e9oriques et empiriques mobilis\u00e9es pour la construction et l’analyse psychom\u00e9trique de l’outil sont les suivantes :<\/p>\n Les instructions d’administration imposent de pr\u00e9senter aux participants les \u00e9nonc\u00e9s factuels ci-dessous. Pour chaque \u00e9nonc\u00e9, le participant doit d’abord d\u00e9terminer si l’affirmation est Vraie<\/em> ou Fausse<\/em>, puis \u00e9valuer son niveau de certitude quant \u00e0 sa r\u00e9ponse sur une \u00e9chelle de 0 (incertain) \u00e0 3 (certain). Conform\u00e9ment aux r\u00e8gles psychom\u00e9triques de l’\u00e9chelle, les items originaux en langue anglaise doivent \u00eatre administr\u00e9s tels que valid\u00e9s par les auteures :<\/p>\n Participants complete two-faceted assessments for each statement:<\/p>\n Scoring rule: Correct responses endorsed with high confidence (score of 3 = \u00ab\u00a0sure\u00a0\u00bb) are coded as 1. Incorrect responses or responses marked with uncertainty (confidence 0, 1, or 2) are coded as 0.<\/em><\/p>\n<\/p><\/div>\n L’\u00c9chelle de connaissances en intelligence artificielle (Kerstan, Bienefeld, & Grote, 2024) mesure les connaissances objectives en IA \u00e0 travers 6 items valid\u00e9s par analyse de Mokken et TRI.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","template":"","categories":[2539,647,2],"tags":[26841,1007,424,16398,26842,176,16,6005],"class_list":["post-17387","psych_scale","type-psych_scale","status-publish","hentry","category-interaction-humain-machine","category-psychologie-cognitive","category-psychometrie","tag-connaissances-objectives","tag-evaluation-cognitive","tag-intelligence-artificielle","tag-interaction-humain-machine","tag-mokken-scale-analysis","tag-prise-de-decision","tag-psychometrie","tag-sante-numerique"],"_links":{"self":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_scale\/17387","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_scale"}],"about":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/types\/psych_scale"}],"author":[{"embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=17387"}],"version-history":[{"count":0,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_scale\/17387\/revisions"}],"wp:attachment":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=17387"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=17387"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=17387"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}2. Mots-cl\u00e9s \/ Keywords<\/h2>\n
3. Auteurs \/ Authors<\/h2>\n
\n
\nSophie Kerstan, ETH Zurich, Department of Management, Technology, and Economics, Work and Organizational Psychology, Weinbergstrasse 56\/58, 8092 Zurich, Suisse.<\/p>\n4. Objectif \/ Purpose<\/h2>\n
\n
5. Construit psychologique \/ Construct<\/h2>\n
\n
6. Cadre th\u00e9orique \/ Theoretical Framework<\/h2>\n
7. Validit\u00e9 \/ Validity<\/h2>\n
\n
8. Fid\u00e9lit\u00e9 \/ Reliability<\/h2>\n
9. Analyse factorielle \/ Factor Analysis<\/h2>\n
\n
10. Instrument de mesure \/ Instrument<\/h2>\n
\n
\n
\n
\n
11. Permissions, Tarifs et Ann\u00e9e du test \/ Permissions & Fee and Test Year<\/h2>\n
\n
12. R\u00e9f\u00e9rences \/ References<\/h2>\n
\n
13. Questions et items du questionnaire \/ Scale Items<\/h2>\n
Authentic Response Format:<\/h3>\n
\n
\n
0<\/code> = Unsure<\/li>\n1<\/code> = Fairly unsure (slightly unsure)<\/li>\n2<\/code> = Fairly sure (slightly sure)<\/li>\n3<\/code> = Sure<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n\n\n
\n \n#<\/th>\n Item \/ Stimuli<\/th>\n Key (Correct Response)<\/th>\n<\/tr>\n<\/thead>\n \n 1<\/td>\n Deep learning employs artificial neural networks with multiple layers.<\/td>\n True<\/td>\n<\/tr>\n \n 2<\/td>\n AI-based outputs are free of biases.<\/td>\n False<\/td>\n<\/tr>\n \n 3<\/td>\n FLOPS is a measure of computer performance.<\/td>\n True<\/td>\n<\/tr>\n \n 4<\/td>\n Unsupervised machine learning methods make use of training cases with labelled data.<\/td>\n False<\/td>\n<\/tr>\n \n 5<\/td>\n The Turing test determines if a human is more intelligent than a machine.<\/td>\n False<\/td>\n<\/tr>\n \n 6<\/td>\n At its core, AI always relies on decision rules that are predefined by humans.<\/td>\n False<\/td>\n<\/tr>\n<\/tbody>\n<\/table><\/div>\n<\/div>\n","protected":false},"excerpt":{"rendered":"