Théorie du double codage vs théorie du code unique

La question de la nature de la pensée humaine et de la structure intime des représentations mentales constitue sans doute l’une des énigmes les plus vertigineuses et les plus fécondes des sciences cognitives, de la philosophie de l’esprit et de la psychologie computationnelle. Lorsque nous évoquons le souvenir d’un paysage d’enfance, résolvons un problème géométrique complexe ou interprétons une métaphore poétique, quelle est la texture ontologique des entités qui peuplent notre théâtre intérieur ? Sommes-nous le siège d’images intérieures préservant les propriétés quasi-perceptives et métriques du monde sensible, ou bien toute pensée se ramène-t-elle, in fine, à un calcul discret opérant sur des symboles abstraits, logiques et dépourvus de toute modalité sensorielle ?

Cette interrogation fondamentale a cristallisé, au cours du dernier quart du XXe siècle, l’un des débats les plus intenses de l’histoire des sciences de l’esprit : la controverse de l’imagerie mentale. Ce conflit paradigmatique a opposé deux visions radicalement distinctes de l’architecture cognitive. D’un côté, la théorie du double codage (Dual-Coding Theory), formulée de manière pionnière par le psychologue canadien Allan Paivio, postule que la cognition s’appuie sur deux sous-systèmes fonctionnellement indépendants mais étroitement interconnectés : un système verbal spécialisé dans le traitement séquentiel des symboles linguistiques, et un système non verbal voué à la manipulation analogique et synchrone d’expériences perceptuelles. De l’autre côté, la théorie du code unique, incarnée par le modèle propositionnel de chercheurs tels que Zenon Pylyshyn et John Anderson, affirme qu’il n’existe qu’un seul format de représentation dans l’esprit : un code propositionnel abstrait, universel et amodal, analogue au calcul des prédicats, l’expérience vécue de l’image n’étant qu’un simple épiphénomène dépourvu d’efficience causale.

Loin d’appartenir à une querelle révolue confinée aux archives de la psychologie expérimentale, cette divergence théorique structure aujourd’hui les défis les plus contemporains du savoir humain. Qu’il s’agisse de concevoir des environnements d’apprentissage multimédia optimisés, de décoder l’activité cérébrale au moyen de l’imagerie par résonance magnétique fonctionnelle ou d’élaborer les fondations des modèles d’intelligence artificielle générative – tiraillés entre les architectures purement symboliques et les modèles multimodaux massifs –, le choix entre dualité analogique-verbale et monisme propositionnel demeure déterminant. Cet article propose une analyse comparative exhaustive, technique et épistémologique de ces deux modèles fondateurs, explorant leurs soubassements conceptuels, leurs protocoles expérimentaux, leurs implications computationnelles et leur synthèse au sein des paradigmes émergents de la cognition incarnée.

1. Introduction : Les fondements de la représentation mentale

1.1 Définition des paradigmes de la mémoire et de la pensée

L’essor de la psychologie cognitive au milieu du XXe siècle, souvent qualifié de « révolution cognitive », a réhabilité l’étude des états internes de l’esprit, que le béhaviorisme radical avait longtemps rejetés dans la « boîte noire ». Au cœur de cette réhabilitation se trouve le concept de représentation mentale : une structure interne porteuse d’information qui tient lieu de substitut fonctionnel aux objets, aux événements et aux relations du monde extérieur. Très tôt, la question du format – c’est-à-dire de la syntaxe et de la sémantique computationnelle de ces représentations – est devenue la ligne de fracture majeure délimitant les paradigmes de la mémoire et de la pensée.

L’approche bimodale visuelle-verbale repose sur l’idée que l’esprit humain n’utilise pas un encodage homogène, mais hérite de l’évolution biologique deux grands dispositifs de traitement distincts. D’une part, un dispositif d’appréhension directe des formes du monde physique, préservant les relations spatiales, les contours, les textures et les propriétés métriques continues sous un format analogique. D’autre part, un dispositif linguistique hautement sophistiqué, caractérisé par un agencement discret, symbolique, hiérarchisé et séquentiel de phonèmes, de mots et de règles syntaxiques. Dans ce paradigme, une pensée n’est pas un calcul aveugle ; elle engage des résonances sensorielles directes où voir par l’esprit partage des propriétés structurelles avec le fait de voir par les yeux.

À l’inverse, l’approche amodale unifiée s’enracine dans la théorie computationnelle-représentationnelle de l’esprit, développée au confluent de la logique mathématique, de la cybernétique et des travaux d’Alan Turing. Selon cette perspective, le cerveau opère de manière analogue à une machine de Turing : les stimuli physiques, qu’ils soient lumineux ou acoustiques, sont immédiatement traduits par les systèmes périphériques en un langage mental universel et amodal (le « mentalais », pour reprendre l’expression de Jerry Fodor). Dans ce cadre, la mémoire sémantique et la pensée ne conservent aucune trace de la modalité sensorielle d’entrée. La pensée s’exécute sous la forme d’opérations logico-déductives sur des symboles arbitraires dont la signification découle uniquement de leurs interconnexions fonctionnelles et de leurs règles de transformation formelle.

Historiquement, cette opposition rejoue les grands débats épistémologiques de la philosophie occidentale. Elle fait écho à la tension entre l’empirisme aristotélicien et lockéen – pour qui l’esprit ne pense jamais sans images (phantasma) et où les idées dérivent directement de l’empreinte sensorielle – et le rationalisme cartésien ou le formalisme leibnizien, qui considèrent l’imagination comme une faculté trompeuse, inférieure à la pure intellection fondée sur des idées claires, distinctes et géométriquement abstraites. L’avènement des méthodes quantitatives au XXe siècle a permis de transposer ce problème métaphysique sur le terrain rigoureux de la vérification expérimentale.

1.2 Origine de la controverse sur l’imagerie mentale

La controverse moderne sur l’imagerie mentale s’est officiellement cristallisée au début des années 1970 autour des publications fondatrices de trois figures intellectuelles dominantes : Allan Paivio, Zenon Pylyshyn et John Anderson. Paivio (1971) a apporté un corpus massif de données psychométriques et mnésiques prouvant que le matériel concret, facilement traduisible en images intérieures, bénéficie d’une mémorisation spectaculairement supérieure au matériel abstrait. Cette observation l’a conduit à postuler l’existence de mécanismes cognitifs autonomes et indépendants dédiés à l’imagerie non verbale.

Cette théorisation a rapidement rencontré l’opposition virulente de Zenon Pylyshyn, dont l’article séminal de 1973, « What the Mind’s Eye Tells the Mind’s Brain: A Critique of Mental Imagery », a sonné le tocsin d’une guerre académique qui allait durer plusieurs décennies. Pylyshyn a soutenu avec une grande rigueur analytique que l’expérience introspective d’une « image dans la tête » constitue un piège conceptuel dangereux, une illusion phénoménologique. Pour Pylyshyn, attribuer un rôle causal aux images mentales revient à commettre l’erreur de l’homoncule : si l’esprit produit une image interne, il faudrait imaginer un « œil intérieur » piloté par un petit homme cérébral pour regarder cette image, ce qui engendre une régression à l’infini explicative non résolue.

Dans ce contexte, le débat s’est articulé autour du statut de l’image mentale : possède-t-elle une existence fonctionnelle intrinsèque, ou n’est-elle qu’un épiphénomène cognitif ? Un épiphénomène désigne un sous-produit accidentel d’un processus sous-jacent, tout comme la chaleur dégagée par le microprocesseur d’un ordinateur témoigne de son activité électrique sans intervenir aucunement dans l’exécution de l’algorithme informatique. Selon les partisans du code unique, lorsque nous pensons faire tourner un objet dans notre esprit, nous ne manipulons pas un analogue spatial de l’objet, mais nous calculons des relations de coordonnées et des postulats géométriques exprimés sous forme de listes de propositions propositionnelles abstraites.

Les enjeux épistémologiques sous-jacents touchent à la nature même de l’architecture cognitive de l’esprit humain. Accepter le double codage implique d’admettre la coexistence de formats représentatifs hétérogènes au sein de la cognition centrale, exigeant des mécanismes de traduction transmodale complexes. À l’opposé, embrasser le code propositionnel permet d’affirmer un monisme computationnel élégant, aligné sur les principes de la grammaire générative et de l’intelligence artificielle symbolique, où toute la dynamique mentale s’explique par un ensemble homogène de calculs formels.

1.3 Pertinence contemporaine en sciences cognitives et intelligence artificielle

Bien que les formulations initiales de cette querelle aient été proposées dans le cadre de la psychologie cognitive classique, ses répercussions contemporaines sont profondes et omniprésentes. Dans le domaine de l’ingénierie pédagogique et de la conception multimédia, les travaux de Richard Mayer ont démontré que la compréhension humaine est maximisée lorsque l’information sollicite simultanément et de manière synchronisée le canal visuel et le canal verbal, sans saturer la mémoire de travail. Ce « principe multimédia » découle directement de la validation empirique de l’architecture bimodale de Paivio, fournissant une grille de lecture scientifique indispensable à la structuration des apprentissages à l’ère numérique.

Dans le champ de l’intelligence artificielle, l’opposition entre double codage et code unique se rejoue de façon spectaculaire à travers l’évolution des paradigmes computationnels. Pendant plusieurs décennies, l’IA symbolique classique (« Good Old-Fashioned AI ») a incarné le modèle propositionnel pur : le monde y était encodé sous forme d’ontologies, de graphes de connaissances, de prédicats logiques du premier ordre et de règles d’inférence discrètes. Toutefois, cette approche s’est heurtée à des limites majeures concernant la flexibilité perceptuelle, le problème de l’ancrage des symboles (symbol grounding problem) formulé par Stevan Harnad, et la gestion de l’incertitude du monde réel.

À l’opposé, les progrès fulgurants de l’apprentissage profond (Deep Learning) et l’émergence des modèles de fondation multimodaux (tels que CLIP, GPT-4V ou DALL-E) réactualisent puissamment les intuitions de la théorie du double codage. Ces systèmes projettent des espaces d’incorporation (embeddings) textuels et visuels dans des espaces vectoriels continus partagés, créant des ponts référentiels directs entre les représentations sémantiques linguistiques et les topologies de caractéristiques visuelles. La machine n’opère plus exclusivement par syllogismes propositionnels discrets, mais par alignement métrique et géométrique de représentations hétérogènes.

Enfin, les neurosciences cognitives ont renouvelé la controverse en apportant des méthodes d’investigation physiologiques inédites. L’utilisation conjointe de la magnétoencéphalographie (MEG), de l’imagerie par résonance magnétique fonctionnelle (IRMf) à haute résolution et de la stimulation magnétique transcrânienne (TMS) permet désormais d’observer directement si la manipulation d’images mentales réactive les aires corticales visuelles primaires (rétinotopiques) ou si elle mobilise exclusivement les régions temporo-pariétales associées au traitement abstrait du langage. Ces données empiriques permettent d’évaluer la pertinence de chaque modèle à l’aune de la réalité neurobiologique du cerveau humain.

2. La théorie du double codage (Allan Paivio)

2.1 Architecture fonctionnelle : Imagens et Logogens

La théorie du double codage repose sur un postulat structural fondamental : l’appareil cognitif humain intègre deux systèmes de traitement de l’information fonctionnellement distincts, autonomes sur le plan computationnel, mais structurellement capables d’interagir. Allan Paivio a introduit une terminologie précise pour désigner les unités de base composant ces deux réseaux mnésiques : les imagens pour le système non verbal, et les logogens pour le système verbal.

Le système non verbal traite préférentiellement les stimuli visuels, spatiaux, haptiques et kinesthésiques. Ses unités structurales fondamentales, les imagens, sont des représentations mentales modales qui conservent les caractéristiques analogiques des expériences perceptuelles directes. Les imagens ne doivent pas être conçues comme de simples photographies statiques logées dans la mémoire, mais comme des schémas dynamiques génératifs, capables d’être activés de manière holistique. Les imagens sont organisées selon des relations spatiales continues : elles représentent des totalités structurées où les parties constitutives coexistent simultanément dans un espace dimensionnel interne. La propriété computationnelle clé de ce système réside dans son mode de traitement synchrone ou parallèle. Lors de l’activation d’un imagen (par exemple, la représentation mentale d’une bicyclette), la structure globale de l’objet, sa forme, les rapports métriques entre les roues, le cadre et le guidon sont rendus accessibles de façon simultanée sans nécessiter un balayage linguistique étape par étape.

À l’autre pôle de l’architecture cognitive se trouve le système verbal, dont les unités représentatives sont les logogens (un terme initialement emprunté aux travaux de John Morton sur la reconnaissance des mots, mais recontextualisé par Paivio). Les logogens sont des structures spécialisées dans le décodage, l’encodage et la manipulation de l’information linguistique, qu’elle soit transmise par le canal acoustique-phonétique ou par le canal graphique-visuel de la lecture. Les logogens sont discrètement délimités, organisés en structures catégorielles et syntaxiques hiérarchisées, et répondent à des règles combinatoires précises. Contrairement au système des imagens, le système des logogens se caractérise par un traitement intrinsèquement séquentiel et temporel. La parole et le texte ne peuvent être produits ou compris que selon un ordre linéaire rigoureux déterminé par la syntaxe du langage naturel : un mot succède à un autre dans le temps, tout comme les arguments d’une phrase dépendent de leur disposition grammaticale ordonnée.

Ces deux sous-systèmes présentent donc des propriétés structurelles et des contraintes opérationnelles asymétriques. Le tableau computationnel de Paivio montre qu’un individu peut conserver simultanément une information spatiale étendue sans surcharge cognitive immédiate, alors que le traitement de plusieurs flux verbaux séquentiels concurrents entraîne une saturation rapide de la capacité de traitement en raison de contraintes d’ordonnancement temporel.

2.2 Mécanismes de traitement additif et interconnecté

L’une des forces majeures de la théorie du double codage réside dans sa description minutieuse des flux d’activation au sein et entre les systèmes. Paivio distingue trois niveaux de traitement cognitif hiérarchisés qui régissent la dynamique entre le monde sensible et les représentations internes :

• Le traitement représentationnel : Il correspond à l’activation directe d’un composant structural interne par un stimulus externe correspondant. L’audition d’un mot (« cheval ») active directement le logogen correspondant dans le système verbal, tandis que la vue réelle d’un cheval ou d’un dessin de cet animal active directement l’imagen correspondant dans le système non verbal. Ce premier niveau établit la passerelle immédiate entre la perception périphérique et les traces mnésiques spécifiques.
• Le traitement associatif : Il opère exclusivement à l’intérieur d’un même système par propagation d’activation intramodale. Au sein du système verbal, un logogen peut activer d’autres logogens selon des proximités sémantiques ou des liens syntaxiques appris (par exemple, le mot « aiguille » active « fil », « couture » ou « douleur »). De même, au sein du système non verbal, un imagen active d’autres imagens par continuité spatiale ou ressemblance visuelle (l’image mentale d’une plage suscite celle d’un parasol, de vagues ou de sable doré).
• Le traitement référentiel : Il constitue le mécanisme de traduction réciproque entre les deux systèmes. Les connexions référentielles permettent d’interconnecter un logogen avec un imagen, et vice-versa. Ainsi, entendre le mot « chat » (logogen) permet de susciter délibérément ou automatiquement l’image mentale d’un félin (imagen) : c’est l’imagerie référentielle. Inversement, face à une illustration graphique d’un arbre, le système non verbal active la dénomination linguistique « arbre » au sein du système verbal : c’est la dénomination référentielle.

De cette architecture découle l’hypothèse de l’effet additif (additive effect) de la mémoire, un principe qui confère à la théorie du double codage son pouvoir explicatif le plus remarquable. Selon cette hypothèse, lorsqu’un événement cognitif est encodé simultanément sous forme verbale et sous forme visuelle, il génère deux traces mnésiques distinctes, indépendantes mais référentiellement reliées au sein de la mémoire à long terme. Si le rappel ultérieur nécessite de récupérer l’information, la probabilité d’un rappel réussi est significativement accrue : le sujet dispose de deux voies d’accès indépendantes pour retrouver la trace. Mathématiquement, si la probabilité de rappel via le système verbal est $P(V)$ et celle via le système non verbal est $P(I)$, la probabilité combinée d’échec de récupération est $(1 – P(V)) \times (1 – P(I))$. Dès lors, la probabilité de rappel sous double encodage s’écrit :

P(Rappel) = P(V) + P(I) – [P(V) × P(I)]

Ce calcul formel démontre que le double encodage surpasse systématiquement l’encodage simple, offrant un fondement mathématique rigoureux à la supériorité des apprentissages associant l’image et le verbe.

2.3 Preuves empiriques et effets de supériorité de l’image

Pour étayer sa théorie, Allan Paivio et ses continuateurs ont conçu des protocoles expérimentaux d’une rigueur méthodique irréprochable. Le phénomène empirique le plus éclatant documenté par cette tradition de recherche est incontestablement l’effet de supériorité de l’image (Picture Superiority Effect). Dans une série canonique d’expériences de rappel libre et de rappel indicé, les sujets soumis à une séquence d’images simples (par exemple, des dessins au trait d’objets du quotidien) démontrent des taux de mémorisation spectaculairement plus élevés que les sujets exposés aux mots imprimés équivalents désignant ces mêmes objets.

L’explication avancée par Paivio s’appuie directement sur les connexions référentielles : les images sont spontanément encodées à la fois dans le système non verbal (leur format natif) et dans le système verbal, car l’être humain a une forte tendance implicite à nommer subrepticement ce qu’il identifie visuellement. En revanche, les mots imprimés ou entendus sont encodés principalement dans le système verbal, leur traduction spontanée sous forme d’image mentale exigeant un effort cognitif délibéré ou dépendant fortement de la valeur d’imagerie du mot. Dès lors, les images bénéficient presque systématiquement d’un double codage automatique, alors que les mots restent fréquemment cantonnés à un codage verbal unique.

Un autre pan expérimental capital concerne la variable de concrétude linguistique. Paivio a démontré que le rappel de listes de mots varie drastiquement en fonction du caractère concret ou abstrait des termes, même lorsque la longueur, la fréquence lexicale dans la langue et le nombre de syllabes sont strictement contrôlés. Des mots concrets à haute valeur d’imagerie tels que « pomme », « locomotive » ou « cathédrale » sont rappelés avec une précision deux à trois fois supérieure à celle de mots hautement abstraits tels que « justice », « épistémologie » ou « transcendance ». Selon le modèle, les mots concrets activent immédiatement des logogens qui déclenchent, par voie référentielle fluide, des imagens associés, scellant ainsi un double ancrage mnésique. Les mots abstraits, en revanche, manquent de corrélats perceptuels directs et restent isolés au sein de réseaux associatifs intra-verbaux, plus vulnérables à l’interférence et à l’oubli rétroactif.

Cette approche a trouvé des renforts empiriques majeurs dans les travaux de chercheurs étudiant la dynamique temporelle et spatiale de l’imagerie. Les expériences canoniques de Roger Shepard et Jacqueline Metzler (1971) sur la rotation mentale d’objets tridimensionnels ont révélé que le temps nécessaire à un sujet pour déterminer si deux figures géométriques asymétriques sont identiques ou en miroir est une fonction strictement linéaire de l’angle de rotation requis dans l’espace physique. Cette corrélation linéaire parfaite entre temps de réaction et degré angulaire fournit un argument décisif en faveur de la nature analogique des représentations : l’esprit humain fait pivoter une image mentale à une vitesse constante à travers une trajectoire continue dans un espace psychologique isomorphe à l’espace physique, un phénomène impossible à concilier avec une simple consultation discontinue de tables de vérités logiques.

De manière complémentaire, les expériences de Stephen Kosslyn (1973, 1978) sur le balayage mental d’une carte fictive d’une île (mental scanning) ont montré que le temps nécessaire pour déplacer son attention mentale d’un point de repère à un autre est directement proportionnel à la distance géographique réelle séparant ces objets sur la carte préalablement mémorisée. Les métriques spatiales, loin d’être diluées lors de l’encodage mnésique, demeurent inscrites dans la structure topologique de l’imagen, prouvant la réalité opératoire des représentations analogiques.

3. La théorie du code unique (Modèle propositionnel)

3.1 Le formalisme propositionnel amodal (Pylyshyn et Anderson)

Face à l’élégance phénoménologique de la théorie du double codage, la théorie du code unique oppose une modélisation mathématique et computationnelle rigoureuse de la mémoire et de la pensée, qualifiée d’approche propositionnelle. Portée par des pionniers comme Zenon Pylyshyn, John Anderson et Gordon Bower dans le cadre de leur modèle HAM (Human Associative Memory) puis de l’architecture ACT (Adaptive Control of Thought), cette perspective postule que l’esprit humain ne stocke ni sons, ni images, ni mots bruts. Il n’existe qu’une seule et unique monnaie d’échange universelle pour toutes les formes de cognition : la proposition amodale.

Une proposition, au sens de la logique formelle et de la psycholinguistique cognitive, est la plus petite unité de signification pour laquelle il a un sens d’affirmer la vérité ou la fausseté. Une proposition n’est pas une phrase du langage naturel ; elle est totalement indépendante de la syntaxe des langues historiques (français, anglais, mandarin) et totalement découplée des modalités sensorielles (vision, audition, toucher). Les propositions sont des structures relationnelles abstraites régies par la syntaxe rigoureuse du calcul des prédicats. Leur formalisme général s’écrit typiquement :

[Prédicat (Argument_1, Argument_2, …, Argument_n)]

Dans ce formalisme, le prédicat exprime la relation, l’état ou l’action, tandis que les arguments désignent les entités concernées par cette relation. Par exemple, la scène visuelle représentant un livre posé sur une table en acajou à côté d’une lampe n’est pas stockée sous forme d’une scène picturale intérieure continue, mais sous la forme d’un réseau propositionnel discret et hiérarchisé :

• SUR (LIVRE, TABLE)
• MATÉRIAU (TABLE, ACAJOU)
• À_CÔTÉ_DE (LAMPE, LIVRE)
• CATÉGORIE (LIVRE, OBJET_MANUSCRIT)

Ce code propositionnel possède une propriété fondamentale : il est amodal. Que l’information soit acquise par la vue directe de la table, par la lecture d’une phrase décrivant la table ou par le contact tactile avec celle-ci dans l’obscurité, l’opération d’encodage perceptif extrait invariablement la même configuration de prédicats et d’arguments propositionnels. Toutes les connaissances déclaratives – qu’elles portent sur la couleur du ciel, la date de la Révolution française, la structure géométrique d’un cube ou le concept de liberté – sont intégrées dans un réseau sémantique unifié où les nœuds correspondent à des concepts propositionnels et les arcs à des relations sémantiques formelles.

Selon Anderson, cette uniformité de format garantit l’interopérabilité totale de la cognition : les mécanismes d’inférence, de déduction logique, de généralisation inductive et de résolution de problèmes peuvent s’appliquer uniformément à tout le contenu de la mémoire sans exiger de coûteuses et obscures opérations de transcodage entre systèmes analogiques et symboliques hétérogènes.

3.2 L’imagerie mentale comme épiphénomène cognitif

L’obstacle majeur auquel la théorie du code unique s’est heurtée d’emblée est l’évidence de l’expérience vécue : chacun d’entre nous ressent, de manière vivide, la présence d’images dans son esprit. Pylyshyn a consacré une grande part de son œuvre à déconstruire méthodiquement cette intuition introspective, affirmant que l’imagerie mentale relève de l’illusion épiphénoménale pure.

Pour illustrer ce concept, Pylyshyn et ses partisans recourent souvent à des métaphores technologiques révélatrices. Considérons un ordinateur exécutant un algorithme complexe de calcul matriciel : la diode lumineuse de l’unité centrale clignote au rythme des accès au disque dur, ou bien les ventilateurs accélèrent en produisant un vrombissement thermique. Cette lumière ou ce bruit acoustique sont des sous-produits inévitables du fonctionnement physique de la machine ; ils témoignent de son activité interne, mais n’ont strictement aucun rôle causal dans l’exécution de l’algorithme mathématique. Supprimer la diode ou installer un ventilateur totalement silencieux ne modifierait en rien le résultat final du calcul. Selon la théorie propositionnelle, l’expérience phénoménale d’une image visuelle dans notre conscience est exactement semblable à cette diode : elle accompagne parfois l’activation de réseaux propositionnels denses, mais les computations réelles sous-jacentes sont purement logiques et symboliques.

Pour démontrer l’absence de rôle causal de l’analogie visuelle, Pylyshyn a forgé le concept de pénétration cognitive (cognitive penetrability). Il avance qu’un phénomène véritablement architectural et biologique (comme la réfraction optique ou les étapes précoces de la vision rétinienne) ne peut pas être modifié par les croyances, les attentes ou les connaissances implicites d’un individu. Or, les tâches d’imagerie mentale – telles que la rotation de Shepard ou le scanning de Kosslyn – sont profondément perméables à la pénétration cognitive.

Pylyshyn soutient que lorsque des sujets participent à l’expérience du balayage de la carte de Kosslyn, ils mobilisent inconsciemment leurs connaissances tacites (tacit knowledge) sur la manière dont les objets physiques se comportent dans le monde réel. Les sujets savent que dans la réalité physique, parcourir une distance plus longue prend plus de temps. Par conséquent, guidés par les attentes de l’expérimentateur (task demands), ils simulent le temps d’un trajet réel en retardant volontairement leur réponse propositionnelle lorsqu’on leur demande de focaliser un point lointain. Pour Pylyshyn, le temps de réponse ne reflète pas une contrainte métrique spatiale inhérente au format de stockage, mais une stratégie de temporisation commandée par des règles logiques simulant la physique du monde.

3.3 Économie cognitive et computation symbolique unifiée

Au-delà de la critique phénoménologique, la théorie propositionnelle du code unique fait valoir des arguments épistémologiques et computationnels d’une grande puissance. Le premier repose sur l’application méthodique du rasoir d’Ockham : entia non sunt multiplicanda praeter necessitatem (les entités ne doivent pas être multipliées au-delà du nécessaire). Pourquoi postuler deux architectures mnésiques distinctes, deux syntaxes différentes, des mécanismes de double encodage et des voies de traduction transmodales alors qu’un système computationnel unique fondé sur le calcul des prédicats suffit à modéliser l’intégralité du comportement humain ?

Cette approche s’inscrit au cœur de la théorie computationnelle de l’esprit articulée par Jerry Fodor dans son ouvrage de référence The Language of Thought (1975), ainsi que dans les travaux précurseurs d’Allen Newell et Herbert Simon sur les systèmes de symboles physiques (Physical Symbol Systems). Dans ce cadre, la cognition humaine est définie comme une manipulation systématique de symboles physiques discrets selon des règles formelles d’inférence. Le langage de la pensée doit nécessairement posséder une structure compositionnelle et productive :

• La productivité : La capacité de générer un nombre infini de pensées distinctes à partir d’un ensemble fini de symboles prédicatifs élémentaires.
• La systématicité : L’interdépendance logique des capacités cognitives ; si un esprit possède les ressources conceptuelles pour comprendre et calculer AIME (JEAN, MARIE), il comprend nécessairement la structure inverse AIME (MARIE, JEAN) sans avoir besoin de concevoir une nouvelle image visuelle.
• La compositionnalité : La signification d’une représentation complexe est strictement fonction de la signification de ses parties syntaxiques et des règles combinatoires appliquées.

Les partisans du modèle propositionnel soulignent que l’imagerie analogique échoue structurellement à satisfaire ces critères fondamentaux de la pensée rationnelle. Une image mentale, par sa nature même de continuum spatial, est intrinsèquement indéterminée et incapable de formuler des abstractions logiques indispensables au raisonnement. Comment imaginer visuellement, sous forme d’une « image intérieure », des concepts universels tels que « tous les triangles » (sans lui attribuer arbitrairement d’angles précis, scalène ou isocèle, comme le soulignait déjà George Berkeley dans sa critique de John Locke) ? Comment encoder sous forme d’image des opérateurs logiques fondamentaux comme la négation (« la tasse n’est pas sur la table »), la conditionnalité contrefactuelle (« si le train était venu, il ne serait pas là ») ou la disjonction (« il est à Rome ou à Madrid ») ?

Pour le modèle propositionnel, la tentative de fonder la mémoire sur des images analogiques plonge la science cognitive dans des impasses insolubles. Seule la proposition logique amodale offre la flexibilité syntaxique indispensable pour modéliser le raisonnement déductif, la quantification universelle et l’ensemble de la sémantique abstraite qui caractérise la supériorité intellectuelle de l’espèce humaine.

4. Différences fondamentales entre double codage et code unique

4.1 Nature de la représentation mentale : analogique versus amodale

La divergence première qui sépare irréductiblement la théorie du double codage de la théorie du code unique réside dans le rapport que la trace mnésique entretient avec le monde physique perçu. Pour Allan Paivio, l’esprit exploite des représentations analogiques. Une représentation analogique est caractérisée par un isomorphisme fonctionnel ou structurel avec son référent : la structure de la représentation préserve intrinsèquement les relations dimensionnelles et spatiales du stimulus originel. Dans un imagen, la distance géométrique entre deux détails mentaux correspond à une distance métrique continue dans le code de stockage, tout comme les gradations de mercure dans un thermomètre traditionnel varient de manière analogue et continue avec l’élévation de la température.

À l’opposé, pour le modèle propositionnel de Pylyshyn et Anderson, la représentation mentale est arbitraire et amodale. Il n’existe aucun isomorphisme topologique ou métrique entre la trace propositionnelle et l’objet perçu. La relation qui unit le symbole interne à son objet relève de la même convention abstraite que celle unissant un mot de la langue à son référent (le mot « éléphant » n’est ni lourd, ni gris, ni doté d’une trompe). Dans un réseau propositionnel, la distance entre deux nœuds sémantiques n’est pas un intervalle d’espace, mais un degré de connectivité logique ou une force associative d’activation au sein d’une matrice computationnelle.

Ce clivage conceptuel recoupe une opposition radicale sur le problème de l’ancrage sensorimoteur de l’esprit. Le double codage affirme une continuité directe entre la perception biologique, le corps agissant et la mémoire : l’esprit réactive les schémas d’action et d’exploration oculaire pour faire vivre l’imagen. La théorie propositionnelle proclame au contraire l’autonomie et l’étanchéité computationnelle de la pensée centrale vis-à-vis des transducteurs sensoriels : la perception convertit immédiatement le flux physique en symboles désincarnés, et dès cet instant, le corps s’efface au profit de l’algèbre pure de la logique computationnelle.

4.2 Architecture mnésique : sous-systèmes parallèles versus stockage central unifié

Sur le plan de l’architecture cognitive générale, le débat s’articule autour du choix entre un dualisme modulaire fonctionnel et un monisme structurel unifié. La théorie du double codage formalise une topologie de la mémoire subdivisée en deux autoroutes de traitement distinctes fonctionnant en parallèle. Ces autoroutes disposent de mémoires tampons spécifiques, de canaux de transmission dédiés et de limites de capacité différenciées. Le traitement verbal ne vient jamais encombrer l’espace structural réservé au traitement non verbal, et inversement, sauf lors des goulots d’étranglement spécifiques induits par les opérations de transcodage référentiel.

Dans l’architecture du code unique, il n’existe pas de canaux parallèles séparés dans la mémoire à long terme. La mémoire sémantique et la mémoire épisodique sont intégrées dans un seul et même graphe relationnel centralisé. Toutes les informations convergent vers cette structure uniforme. Pour Anderson, la distinction entre texte et image n’est qu’une distinction de contenu descriptif au sein du même format de stockage : une image mentale n’est qu’un ensemble dense de propositions décrivant des relations spatiales (ex. : ANGLE_DROIT (LIGNE_A, LIGNE_B)), tandis qu’un énoncé linguistique est un ensemble de propositions décrivant des relations prédicatives thématiques (ex. : AGENT (MARIE, CASSER)).

Cette différence architecturale affecte particulièrement la modélisation de l’accès aux concepts concrets et abstraits. Chez Paivio, l’accès à un concept concret mobilise immédiatement la synergie des deux hémisphères fonctionnels (mots et images), créant une résonance riche et immédiate, alors que le concept abstrait reste orphelin de sa composante non verbale. Pour la théorie propositionnelle, la différence entre concret et abstrait n’est pas une question de format, mais une simple question de quantité et de densité de prédicats : un concept concret bénéficie simplement d’un nombre plus grand de propositions interconnectées relatives à ses attributs physiques (couleur, taille, poids, usage), facilitant ainsi la diffusion de l’activation au sein du réseau sémantique unifié.

4.3 Coût computationnel, falsifiabilité et méthodologie expérimentale

L’affrontement entre ces deux paradigmes a suscité d’immenses débats quant à leur rigueur méthodologique respective, leur coût computationnel et leur falsifiabilité au sens épistémologique défini par Karl Popper. Les partisans du double codage ont vigoureusement accusé le modèle propositionnel d’être une théorie infalsifiable et tautologique. En effet, dès lors qu’un résultat expérimental démontre des propriétés quasi-visuelles frappantes (comme la rotation continue ou le balayage spatial), les partisans du code unique peuvent toujours réécrire leurs règles logiques a posteriori (explication post-hoc) en introduisant des listes infinies de propositions descriptives cachées ou en invoquant de nouvelles connaissances tacites non vérifiables pour sauver l’hypothèse amodale.

Inversement, Zenon Pylyshyn a reproché à la théorie du double codage son incapacité à formaliser rigoureusement le coût computationnel de ses opérations et son recours naïf à des métaphores spatiales non réductibles. Si les imagens existent véritablement sous forme analogique continue, quel type d’algorithme discret exécuté par des neurones réels est capable de comparer deux imagens sans tomber dans la régression d’un homoncule qui viendrait scruter l’écran mental intérieur ? De surcroît, le double codage peine à expliquer les erreurs de mémoire où les sujets retiennent parfaitement le sens d’un message verbal tout en ayant oublié totalement les mots exacts et sans en avoir généré d’image précise (le phénomène de la mémoire du gist ou de la substance sémantique).

Le tableau comparatif suivant synthétise les points de rupture fondamentaux opposant la théorie du double codage à la théorie propositionnelle du code unique selon leurs dimensions métathéoriques centrales :

Dimension analytique	Théorie du double codage (Paivio)	Théorie du code unique (Pylyshyn, Anderson)
Format fondamental	Bimodal et duel : unités analogiques/spatiales (imagens) et unités symboliques/séquentielles (logogens).	Monomodal et universel : propositions abstraites amodales fondées sur le calcul des prédicats.
Statut de l’image mentale	Entité cognitive causale, fonctionnellement autonome, préservant les propriétés métriques et spatiales continues.	Épiphénomène sans rôle causal computationnel ; sous-produit subjectif de calculs propositionnels sous-jacents.
Organisation du traitement	Synchrone/parallèle pour le système spatial non verbal ; séquentiel/temporel pour le système verbal linguistique.	Discret, compositionnel, séquentiel et logique, gouverné par des règles syntaxiques d’inférence universelle.
Relation au stimulus physique	Isomorphisme structurel ou fonctionnel : conservation analogique directe de l’empreinte perceptuelle.	Relation purement arbitraire : encodage symbolique abstrait découplé de la modalité sensorielle d’origine.
Mécanisme de supériorité mnésique	Hypothèse additive : redondance fonctionnelle issue de deux traces mnésiques distinctes (visuelle et linguistique).	Densité propositionnelle accrue : multiplication du nombre de prédicats et d’arcs sémantiques relationnels disponibles.
Traitement des concepts abstraits	Encodage restreint aux seuls logogens ; dépendance envers des métaphores ou contextes intra-verbaux.	Encodage naturel et direct dans le formalisme logique via des prédicats de haut niveau d’abstraction.
Imperméabilité cognitive	Résistance des propriétés spatiales de l’imagen aux croyances métacognitives ; dynamique analogique robuste.	Pénétration cognitive totale : les performances d’imagerie reflètent les connaissances tacites du sujet sur le monde.

Ce face-à-face met en lumière l’extrême difficulté d’isoler expérimentalement le format ultime de stockage de la mémoire. Comme l’a souligné John Anderson dans son célèbre théorème d’indétermination épistémologique de 1978, toute théorie postulant un format de représentation couplé à un processus de traitement donné peut être mathématiquement reproduite par une théorie concurrente postulant un autre format associé à un processus computationnel différent. Dès lors, le choix entre ces deux paradigmes doit s’évaluer à l’aune de leur parcimonie explicative, de leur plausibilité biologique et de leur efficience pratique dans les applications concrètes.

5. Similitudes et convergences théoriques

5.1 Explication conjointe des performances mnésiques

Malgré l’âpreté de leurs joutes épistémologiques, la théorie du double codage et la théorie du code unique partagent un ensemble remarquable de constats empiriques et convergent sur la description clinique des phénomènes mnésiques. Aucune des deux théories ne nie les données réelles du comportement humain : toutes deux s’accordent sans équivoque sur le fait que la mémorisation de stimuli concrets et riches en détails perceptifs surpasse systématiquement celle d’énoncés abstraits et décharnés.

Le point de ralliement empirique le plus éclatant concerne l’interprétation des phénomènes d’interférence sélective lors de tâches concurrentes (paradigmes de double tâche). Si un sujet doit maintenir en mémoire une configuration visuo-spatiale tout en exécutant une tâche visuo-motrice concurrente (comme suivre une cible mobile sur un écran), sa performance s’effondre de manière dramatique, tandis qu’une tâche verbale simultanée (répéter une série de chiffres) n’entraîne qu’une dégradation minime. Inversement, une tâche de mémorisation de texte est sévèrement perturbée par l’écoute passive de parole articulée, mais presque insensible à la présence de motifs visuels statiques en arrière-plan.

Paivio interprète ces dissociations comme la confirmation expérimentale directe de l’indépendance structurelle de ses deux canaux (imagens et logogens), chacun disposant d’un réservoir de ressources limité. Mais Anderson et Pylyshyn parviennent à une explication analogue en termes de compétition d’accès au sein du processeur propositionnel : deux tâches mobilisant des prédicats de même nature (relations spatiales vs relations linguistiques) créent des conflits d’adressage et de saturation des variables au sein de la mémoire de travail logique. Les deux paradigmes reconnaissent ainsi l’existence de goulots d’étranglement modulaires spécifiques dans l’économie cognitive humaine, validant le fait que l’esprit ne peut traiter simultanément deux flux d’informations concurrents sollicitant les mêmes registres sémantiques.

5.2 Intégration sémantique et reconstruction du sens

Une convergence fondamentale entre les deux théories réside dans leur rejet commun du modèle naïf d’une mémoire conçue comme un enregistreur passif d’événements bruts. Que l’on formule la mémoire en termes d’imagens ou de propositions amodales, les deux camps conçoivent le rappel mnésique comme un processus hautement constructif et intégratif.

Dans les expériences classiques de John Bransford et Jeffrey Franks sur l’intégration sémantique, il a été démontré que des sujets entendant des phrases simples distinctes (ex. : « La fourmi mange la gelée », « La gelée est sur la table », « La gelée était douce ») reconnaissent ultérieurement avec un degré de certitude absolu avoir entendu une phrase complexe holistique (« La fourmi mange la gelée douce qui était sur la table »), bien que cette phrase n’ait jamais été présentée physiquement. Pour la théorie propositionnelle, ce résultat est la signature évidente de la fusion de micro-propositions élémentaires en une proposition complexe unifiée au sein du réseau sémantique. Pour la théorie du double codage, ce même phénomène traduit l’intégration référentielle naturelle où plusieurs logogens convergent vers la création d’un imagen holistique unitaire décrivant l’ensemble de la scène.

De même, face au traitement des énoncés métaphoriques et du langage figuré, les deux approches déploient des trésors de modélisation pour rendre compte de l’émergence du sens. Lorsqu’un lecteur interprète la métaphore « Cet avocat est un requin », le système propositionnel invoque le transfert de prédicats de prédation et d’agressivité du concept-source au concept-cible au sein d’une hiérarchie d’héritage sémantique. Le double codage montre pour sa part que l’efficacité persuasive de la métaphore repose sur le saut référentiel fulgurant qu’elle provoque, forçant le système des logogens à projeter des caractéristiques visuelles dynamiques et menaçantes issues du système des imagens sur une abstraction statutaire. Les deux modèles s’accordent donc sur le fait que la compréhension profonde exige un saut qualitatif au-delà du stimulus littéral, ancré dans l’organisation hiérarchique de la mémoire à long terme.

5.3 Convergences dans les architectures cognitives modernes

L’évolution contemporaine des sciences cognitives a progressivement estompé le caractère irréconciliable de cette opposition historique pour donner naissance à des modèles computationnels intégrés et hybrides. La célèbre architecture cognitive ACT-R, développée dans ses versions modernes par John Anderson lui-même, illustre de manière spectaculaire cette convergence progressive. Tout en conservant son cœur de réseau propositionnel déclaratif, ACT-R a formellement intégré des modules spécialisés indépendants : un module visuel, un module manuel, un module phonologique et un module déclaratif central, tous coordonnés par un système de règles de production discret.

Cette hybridation s’est considérablement accélérée sous l’influence du mouvement de la cognition incarnée (Embodied Cognition), inauguré par des chercheurs tels que Lawrence Barsalou avec sa théorie des Systèmes de Symboles Perceptifs (Perceptual Symbol Systems, 1999). Barsalou transcende la querelle en proposant que le format fondamental de la pensée est constitué de « symboles perceptifs » : des traces neuronales multimodales issues de l’expérience sensorimotrice, qui conservent les propriétés des entrées perceptuelles (rejoignant Paivio), mais qui sont capables d’être réactivées, décomposées et recombinées arbitrairement selon des règles combinatoires productives et systématiques (rejoignant Pylyshyn et Fodor).

Dans ce modèle réconciliateur, penser à un concept ne consiste ni à manipuler un symbole logique arbitraire et froid, ni à contempler une image photographique statique, mais à réexécuter une simulation neuronale motrice et sensorielle partielle des interactions physiques associées à ce concept. De nos jours, les neurosciences computationnelles modélisent cette réalité au moyen d’architectures vectorielles où des représentations distribuées continues (analogues fonctionnels des imagens) s’articulent dynamiquement avec des mécanismes attentionnels discrets capables de sérialisation logique (analogues des logogens). Le dualisme s’est ainsi mué en une dialectique féconde entre le continu perceptuel et le discret computationnel.

6. Applications pratiques et validité contextuelle

6.1 Conception pédagogique et apprentissage multimédia

Si la querelle sur l’imagerie a pu paraître académique et théorique, ses retombées dans le champ de la pédagogie, de l’ingénierie didactique et de la conception des interfaces d’apprentissage contemporaines sont monumentales. La théorie du double codage d’Allan Paivio constitue la colonne vertébrale explicative de la Théorie Cognitive de l’Apprentissage Multimédia (TCAM), formulée et validée empiriquement par Richard E. Mayer à travers des centaines d’études expérimentales rigoureuses.

L’apport déterminant de cette synthèse pédagogique s’incarne dans plusieurs principes directeurs aujourd’hui universellement reconnus pour l’optimisation des supports didactiques :

• Le principe multimédia : Les apprenants comprennent beaucoup plus profondément et retiennent beaucoup plus durablement une leçon à partir de mots et d’images conjoints qu’à partir de mots seuls. La mise en œuvre simultanée d’illustrations anatomiques précises associées à un texte explicatif concrétise l’effet additif prédit par Paivio.
• Le principe de contiguïté spatiale et temporelle : L’apprentissage est nettement supérieur lorsque le texte explicatif est intégré directement à proximité physique immédiate de la partie correspondante de l’illustration, et présenté de manière simultanée plutôt que successive. Cette disposition réduit la charge cognitive extrinsèque en facilitant l’établissement direct des connexions référentielles entre logogens et imagens sans exiger un balayage visuel fastidieux.
• Le principe de modalité : L’apprentissage est décuplé lorsque l’illustration visuelle dynamique est accompagnée d’un commentaire audio narré plutôt que d’un texte écrit à l’écran. En remplaçant le texte graphique par de la parole entendue, l’ingénierie pédagogique exploite la boucle phonologique auditive pour traiter les logogens tout en laissant la totalité du canal visuel disponible pour l’encodage des imagens, évitant ainsi la saturation du calepin visuo-spatial prédite par les modèles de la mémoire de travail de Baddeley.

Toutefois, la validité du double codage trouve ses limites intrinsèques face à des savoirs hautement formels ou décontextualisés. Lorsque des apprenants doivent maîtriser des abstractions logiques pures, des démonstrations mathématiques formelles ou la syntaxe de langages de programmation informatique, la surimposition arbitraire d’illustrations métaphoriques visuelles peut engendrer des effets pervers majeurs. La séduction trompeuse de l’image induit une surcharge cognitive parasite (seductive details effect) et encourage des représentations intuitives erronées en masquant la rigueur déductive amodale exigée par le raisonnement formel pur. Dans ces domaines spécifiques, la modélisation propositionnelle retrouve toute sa pertinence didactique en préconisant des structurations logiques directes et épurées.

6.2 Architecture des systèmes d’intelligence artificielle

L’affrontement entre double codage et code unique se reflète avec une netteté saisissante dans l’histoire technologique de l’intelligence artificielle, dictant les architectures dominantes de chaque époque. Durant l’âge d’or des systèmes experts et de l’IA symbolique classique, le formalisme propositionnel d’Anderson et Pylyshyn régnait sans partage. Les représentations du monde étaient formalisées sous forme de triplets RDF, de logiques de description et d’arbres de règles propositionnelles (SI [Condition_A ET Condition_B] ALORS [Action_C]). Ces systèmes possédaient une interprétabilité et une traçabilité logique parfaites, mais s’avéraient dramatiquement rigides, incapables de généraliser face au bruit sensoriel ou de saisir la sémantique floue d’une scène visuelle complexe.

La révolution contemporaine des architectures neuronales profondes a orchestré le triomphe éclatant d’un double codage computationnel à très haute échelle. L’architecture des modèles de langage-vision (Vision-Language Models ou VLM) tels que CLIP (Contrastive Language-Image Pre-training), développé par OpenAI, est une implémentation computationnelle directe et explicite de la théorie de Paivio :

• Un encodeur de texte profond (transformeur linguistique) traite le flux séquentiel des tokens textuels, constituant un réseau extrêmement dense de logogens vectoriels.
• Un encodeur de vision dédié (Vision Transformer ou ResNet) traite les patchs d’images brutes de façon parallèle et synchrone, extrayant les caractéristiques topologiques spatiales sous forme d’imagens vectoriels.
• Un mécanisme d’apprentissage contrastif projette ces deux flux dans un espace latent multimodal commun, où la métrique géométrique (similarité cosinus) ajuste les représentations pour que le vecteur d’une image de chien s’aligne étroitement avec le vecteur de la phrase descriptive correspondante. Ce mécanisme n’est rien d’autre que l’implémentation algorithmique à grande échelle des connexions référentielles de Paivio.

Cette convergence technologique démontre que pour atteindre des compétences d’intelligence générale, une machine ne peut se contenter d’un code propositionnel purement désincarné ou d’une perception visuelle brute : elle doit, à l’instar de l’esprit humain modélisé par Paivio, maîtriser la dialectique transmodale permanente entre le verbe qui structure la logique et l’image qui ancre le sens dans la topologie du monde physique.

6.3 Évaluation clinique et remédiation neuropsychologique

Dans la pratique clinique des neurosciences, les théories de la représentation mentale constituent les fondations théoriques indispensables au diagnostic différentiel des troubles cognitifs et à l’élaboration des protocoles de remédiation neuropsychologique. La double dissociation observée en neuropsychologie clinique chez des patients cérébrolésés constitue l’un des arguments les plus puissants en faveur de l’autonomie architecturale démontrée par Paivio.

D’un côté, les patients souffrant d’aphasie motrice ou de certaines formes d’aphasie transcorticale sensorielle conservent intacte leur capacité à discriminer des stimuli visuo-spatiaux complexes, à s’orienter dans l’espace ou à réaliser des rotations mentales parfaites, tout en étant dans l’incapacité linguistique absolue de nommer ces objets ou de traiter la syntaxe d’une phrase. Leurs imagens fonctionnent avec fluidité, alors que le réseau de leurs logogens ou les connexions référentielles sont détruits. À l’extrême inverse, des patients présentant une agnosie visuelle aperceptive ou associative consécutive à des lésions occipito-temporales bilatérales sont parfaitement capables de définir verbalement ce qu’est un « violon » (accès propositionnel intact dans le système verbal), mais sont totalement incapables de reconnaître visuellement cet instrument ou de dessiner de mémoire sa forme générale, leur système non verbal étant détruit.

Ces dissociations ont permis aux neuropsychologues de développer des stratégies thérapeutiques de compensation cognitive croisée. Chez les patients aphasiques présentant des troubles massifs de l’évocation lexicale, les orthophonistes déploient des protocoles d’induction visuelle où le recours délibéré au dessin, à la gestuelle mimétique (actions sensorimotrices) et à des représentations picturales hautement réalistes permet de contourner les voies verbales lésées pour stimuler indirectement, par voie référentielle résiduelle, la production du mot recherché.

Inversement, dans le cadre de la remédiation mnésique chez les patients souffrant de troubles consécutifs à des traumatismes crâniens ou à des accidents vasculaires cérébraux, l’entraînement guidé à l’imagerie mentale visuelle (comme la méthode des loci ou l’imagerie interactive d’association) permet de réactiver l’effet additif du double codage, rétablissant des performances de mémorisation quotidienne chez des sujets dont le traitement verbal spontané est sévèrement affaibli.

7. Foire aux questions (FAQ)

7.1 Pourquoi la théorie du double codage est-elle privilégiée en sciences de l’éducation ?

La théorie du double codage d’Allan Paivio jouit d’un statut privilégié au sein des sciences de l’éducation en raison de sa traduisibilité opérationnelle immédiate en pratiques de classe et en principes de conception ergonomique des supports scolaires. Alors que le modèle propositionnel de Zenon Pylyshyn opère à un niveau d’abstraction computationnel éloigné des considérations pédagogiques quotidiennes, le double codage fournit une explication mécanique limpide et directement exploitable : combiner un schéma visuel structuré avec une explication verbale claire permet d’activer deux traces mnésiques distinctes (l’effet additif) plutôt qu’une seule.

De plus, cette théorie s’harmonise naturellement avec le modèle immensément populaire de la mémoire de travail développé par Alan Baddeley et Graham Hitch. L’architecture de Baddeley postule l’existence d’une boucle phonologique (dédiée au matériel linguistique) et d’un calepin visuo-spatial (dédié aux données spatiales et visuelles), coordonnés par un administrateur central. L’alignement structurel quasi parfait entre les imagens de Paivio et le calepin visuo-spatial, ainsi qu’entre les logogens et la boucle phonologique, offre aux enseignants un cadre scientifique d’une cohérence remarquable pour concevoir des cours qui évitent la surcharge cognitive tout en maximisant la consolidation mnésique.

7.2 Les données de neuroimagerie ont-elles définitivement tranché le débat ?

L’émergence des technologies modernes de neuroimagerie fonctionnelle (IRMf, TEP, MEG) à la fin des années 1990 a apporté des éclairages empiriques majeurs qui ont très largement fait pencher la balance en faveur de la réalité fonctionnelle de l’imagerie mentale, sans pour autant anéantir totalement la pertinence du modèle propositionnel. Les travaux pionniers menés par Stephen Kosslyn et ses collaborateurs ont apporté la preuve décisive que l’évocation d’une image mentale visuelle à haute résolution active de manière topologique et rétinotopique le cortex visuel primaire (aire V1) et secondaire (aire V2), c’est-à-dire les zones cérébrales mêmes qui traitent les flux lumineux issus des yeux.

De plus, l’application de la stimulation magnétique transcrânienne (TMS) sur l’aire V1 durant une tâche d’imagerie mentale altère de manière mesurable le temps de réponse et la précision spatiale des sujets, prouvant que cette activité corticale visuelle n’est pas un simple témoin passif ou un épiphénomène, mais constitue un substrat causal indispensable à la computation spatiale de la tâche. Ces résultats neurobiologiques ont infligé un démenti cinglant à la thèse radicale de Pylyshyn selon laquelle l’imagerie ne serait qu’un état amodal purement abstrait.

Cependant, les partisans du code unique soulignent avec raison que ces activations rétinotopiques sont presque toujours précédées et orchestrées par des activations massives des réseaux fronto-pariétaux de contrôle exécutif et sémantique. Le cerveau ne stocke pas une image sous forme brute dans ses aires primaires ; il reconstruit l’image par des mécanismes descendants (top-down) initiés par des concepts abstraits. La neuroimagerie contemporaine dessine donc une réalité biologique nuancée : le cerveau est un système hybride capable de manipuler des représentations symboliques abstraites de haut niveau tout en projetant leurs conséquences perceptuelles dans des topologies neurales sensorielles analogiques.

7.3 Comment la théorie du code unique traite-t-elle les concepts sensoriels hautement détaillés ?

Face à la description d’une œuvre d’art d’une richesse sensorielle foisonnante ou à la vivacité du visage d’un être cher présent dans notre souvenir, la théorie propositionnelle du code unique refuse catégoriquement l’idée que ce détail découle d’un fichier pictural matriciel interne. Zenon Pylyshyn et John Anderson expliquent cette richesse par l’existence de réseaux denses et hautement hiérarchisés de micro-propositions relationnelles.

Dans ce cadre, la finesse d’un visage est encodée comme une constellation gigantesque de prédicats géométriques, dimensionnels et chromatiques interconnectés :

• COURBURE (ARC_SOURCILIER_GAUCHE, DEG_35)
• COLORIMÉTRIE (IRIS_DROIT, TEINTE_NOISETTE)
• DISTANCE_MÉTRIQUE (NARINE_GAUCHE, COMMISSURE_LÈVRE, 24MM)
• TEXTURE (ÉPIDERME_JOUES, LISSE)

Pour le modèle propositionnel, ce que nous interprétons naïvement au niveau conscient comme une image sensorielle unitaire et continue n’est en fait que le sentiment d’accès immédiat (illusion of pictorial richness) à cette profusion de relations logiques. Les partisans du code unique soulignent d’ailleurs que cette richesse introspective perçue est largement trompeuse : lorsqu’on demande expérimentalement à des sujets de préciser de mémoire des détails concrets pourtant cruciaux d’une scène qu’ils prétendent visualiser parfaitement (comme le nombre exact de colonnes de la façade du Panthéon ou l’orientation précise de la queue du cheval sur un billet de banque familier), ils échouent de façon spectaculaire. Cet échec massif démontre, selon Pylyshyn, que nous ne stockons qu’une quantité finie de propositions descriptives partielles, notre sentiment d’avoir une image complète n’étant qu’une croyance métacognitive non étayée.

8. Conclusion : Vers une synthèse intégrative de la cognition

8.1 Bilan critique des deux paradigmes

Au terme de cette analyse comparative exhaustive, il apparaît clairement que la tension dialectique entre la théorie du double codage d’Allan Paivio et la théorie propositionnelle du code unique de Zenon Pylyshyn et John Anderson a constitué l’un des moteurs intellectuels les plus stimulants de l’histoire de la psychologie cognitive et des neurosciences computationnelles. Aucun des deux camps n’a totalement anéanti l’autre ; chacun a révélé un pan fondamental de la vérité de l’esprit humain en traçant les contours de ses propres limites.

Allan Paivio a restitué à la psychologie la dignité théorique et empirique de l’expérience sensorielle. Sa théorie du double codage a tiré la science cognitive hors de l’impasse d’un logicisme désincarné en prouvant la réalité opératoire des représentations analogiques, en dévoilant les lois fondamentales de la supériorité mnésique de l’image et en offrant des outils opérationnels qui continuent de transformer en profondeur l’ergonomie cognitive, la didactique multimédia et la remédiation neuropsychologique. Sa faiblesse aura été une certaine frilosité computationnelle à formaliser les opérations de bas niveau et une relative difficulté à modéliser la syntaxe fine des abstractions formelles pures.

De leur côté, Zenon Pylyshyn et John Anderson ont apporté au champ cognitif une exigence épistémologique et logique exemplaire. En dénonçant sans concession le mythe de l’homoncule intérieur et l’illusion phénoménologique de l’écran mental, le modèle propositionnel a jeté les fondations indispensables de la modélisation computationnelle, de la linguistique formelle et de l’intelligence artificielle symbolique. Sa conception unifiée de la proposition comme monnaie d’échange universelle demeure un modèle inégalé de parcimonie logique, bien que son rejet obstiné des activations sensorielles primaires ait été finalement démenti par la neurobiologie contemporaine.

8.2 Perspectives futures au sein de la cognition incarnée

Le dépassement de cette querelle historique ne s’est pas fait par la victoire unilatérale d’un dogme sur l’autre, mais par une refondation paradigmatique profonde sous l’égide de la cognition incarnée, située et énactive (Embodied and Enactive Cognition). L’esprit humain n’apparaît plus aujourd’hui comme un simple calculateur logique abstrait manipulant des symboles froids, ni comme une visionneuse interne passive d’analogues picturaux, mais comme un système biologique dynamique dont toutes les fonctions computationnelles ont émergé pour et par l’interaction sensorimotrice avec le monde physique.

Dans les perspectives scientifiques de pointe, les architectures cognitives futures – qu’elles modélisent le cerveau humain ou qu’elles inspirent les architectures d’intelligence artificielle de nouvelle génération – s’orientent vers une intégration multimodale fluide. L’avenir de l’ingénierie cognitive et des interfaces cerveau-machine (ICM) reposera sur notre capacité à conjuguer la souplesse associative et l’ancrage spatial des modèles analogiques avec la puissance d’inférence, la modularité et la rigueur déductive des modèles propositionnels. C’est dans cette synthèse féconde entre le monde sensible de l’imagen et l’univers formel du logogen que continuera de s’écrire l’exploration de l’infinie complexité de l’esprit humain.

Références

Anderson, J. R. (1976). Language, Memory, and Thought. Lawrence Erlbaum Associates.

Anderson, J. R. (1978). Arguments concerning representations for mental imagery. Psychological Review, 85(4), 249–277. https://doi.org/10.1037/0033-295X.85.4.249

Anderson, J. R., & Bower, G. H. (1973). Human Associative Memory. Winston & Sons.

Baddeley, A. D. (1992). Working memory. Science, 255(5044), 556–559. https://doi.org/10.1126/science.1736359

Barsalou, L. W. (1999). Perceptual symbol systems. Behavioral and Brain Sciences, 22(4), 577–660. https://doi.org/10.1017/s0140525x99002149

Fodor, J. A. (1975). The Language of Thought. Harvard University Press.

Harnad, S. (1990). The symbol grounding problem. Physica D: Nonlinear Phenomena, 42(1–3), 335–346. https://doi.org/10.1016/0167-2789(90)90087-6

Kosslyn, S. M. (1973). Scanning visual images: Some structural implications. Perception & Psychophysics, 14(1), 90–94. https://doi.org/10.3758/BF03198621

Kosslyn, S. M., Ball, T. M., & Reiser, B. J. (1978). Visual images preserve metric spatial information: Evidence from studies of image scanning. Journal of Experimental Psychology: Human Perception and Performance, 4(1), 47–60. https://doi.org/10.1037/0096-1523.4.1.47

Kosslyn, S. M., Thompson, W. L., Kim, I. J., & Alpert, N. M. (1995). Topographical representations of mental images in primary visual cortex. Nature, 378(6556), 496–498. https://doi.org/10.1038/378496a0

Mayer, R. E. (2001). Multimedia Learning. Cambridge University Press. https://doi.org/10.1017/CBO9781139547369

Newell, A., & Simon, H. A. (1976). Computer science as empirical inquiry: Symbols and search. Communications of the ACM, 19(3), 113–126. https://doi.org/10.1145/360018.360022

Paivio, A. (1971). Imagery and Verbal Processes. Holt, Rinehart and Winston.

Paivio, A. (1986). Mental Representations: A Dual Coding Approach. Oxford University Press. https://doi.org/10.1093/acprof:oso/9780195066661.001.0001

Paivio, A. (1991). Dual coding theory: Retrospect and current status. Canadian Journal of Psychology, 45(3), 255–287. https://doi.org/10.1037/h0084295

Pylyshyn, Z. W. (1973). What the mind’s eye tells the mind’s brain: A critique of mental imagery. Psychological Bulletin, 80(1), 1–24. https://doi.org/10.1037/h0034650

Pylyshyn, Z. W. (1981). The imagery debate: Analogue media versus tacit knowledge. Psychological Review, 88(1), 16–45. https://doi.org/10.1037/0033-295X.88.1.16

Pylyshyn, Z. W. (2002). Mental imagery: In search of a theory. Behavioral and Brain Sciences, 25(2), 157–182. https://doi.org/10.1017/s0140525x02000043

Shepard, R. N., & Metzler, J. (1971). Mental rotation of three-dimensional objects. Science, 171(3972), 701–703. https://doi.org/10.1126/science.171.3972.701

Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2), 257–285. https://doi.org/10.1207/s15516709cog1202_4