{"id":9671,"date":"2026-09-23T15:49:51","date_gmt":"2026-09-23T15:49:51","guid":{"rendered":"http:\/\/french.arabpsychology.com\/theories\/traitement-distribue-en-parallele-pdp-connexionnisme-rumelhart-mcclelland\/"},"modified":"2026-09-23T15:49:51","modified_gmt":"2026-09-23T15:49:51","slug":"traitement-distribue-en-parallele-pdp-connexionnisme-rumelhart-mcclelland","status":"publish","type":"psych_article","link":"https:\/\/french.arabpsychology.com\/?psych_article=traitement-distribue-en-parallele-pdp-connexionnisme-rumelhart-mcclelland","title":{"rendered":"Traitement distribu\u00e9 en parall\u00e8le (PDP \/ Connexionnisme) &#8211; David E. Rumelhart &#038; James L. McClelland"},"content":{"rendered":"<p>Au milieu des ann\u00e9es 1980, les sciences cognitives ont travers\u00e9 une refonte paradigmatique sans pr\u00e9c\u00e9dent, marqu\u00e9e par l&rsquo;\u00e9mergence triomphale du connexionnisme et du cadre th\u00e9orique du traitement distribu\u00e9 en parall\u00e8le (<em>Parallel Distributed Processing<\/em> ou PDP). Sous l&rsquo;impulsion d\u00e9cisive de psychologues cognitifs et de th\u00e9oriciens comme <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/David_Rumelhart\">David E. Rumelhart<\/a> et <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/James_McClelland\">James L. McClelland<\/a>, cette approche a radicalement remis en cause le dogme computationnaliste symbolique dominant. Depuis la r\u00e9volution cognitive des ann\u00e9es 1950, l&rsquo;esprit humain \u00e9tait quasi exclusivement con\u00e7u \u00e0 l&rsquo;image d&rsquo;un ordinateur s\u00e9quentiel de Von Neumann, op\u00e9rant des manipulations formelles et d\u00e9terministes sur des symboles discrets selon des r\u00e8gles logiques rigides. Or, ce mod\u00e8le classique peinait fondamentalement \u00e0 rendre compte de la flexibilit\u00e9 biologique, de la tol\u00e9rance aux pannes, de l&rsquo;apprentissage graduel et de la rapidit\u00e9 intuitive qui caract\u00e9risent la cognition vivante.<\/p>\n<p>Le traitement distribu\u00e9 en parall\u00e8le propose une alternative mat\u00e9rialiste et computationnelle ancr\u00e9e dans une m\u00e9taphore biologique beaucoup plus fine : celle du tissu neuronal et de ses micro-r\u00e9seaux interconnect\u00e9s. Plut\u00f4t que de postuler l&rsquo;existence d&rsquo;une unit\u00e9 centrale de calcul ex\u00e9cutant un programme pr\u00e9\u00e9tabli sur des symboles amodaux, le paradigme PDP envisage la pens\u00e9e comme une propri\u00e9t\u00e9 \u00e9mergente r\u00e9sultant de l&rsquo;interaction massive, simultan\u00e9e et dynamique d&rsquo;un ensemble d&rsquo;unit\u00e9s simples de traitement. Les repr\u00e9sentations mentales n&rsquo;y sont plus con\u00e7ues comme des entit\u00e9s localis\u00e9es dans des cases de m\u00e9moire, mais comme des patrons d&rsquo;activation spatio-temporels distribu\u00e9s \u00e0 travers de multiples sous-composants, tandis que la m\u00e9moire et les connaissances s&rsquo;incarnent directement dans la force synaptique liant ces unit\u00e9s.<\/p>\n<p>Cet article propose une analyse monumentale et syst\u00e9matique du paradigme du traitement distribu\u00e9 en parall\u00e8le fond\u00e9 par Rumelhart, McClelland et le groupe de recherche PDP. De l&rsquo;\u00e9puisement \u00e9pist\u00e9mologique du paradigme symbolique classique \u00e0 la formulation math\u00e9matique de la r\u00e9tropropagation du gradient, de la mod\u00e9lisation de la lecture \u00e0 celle de l&rsquo;acquisition du langage sans r\u00e8gles explicites, jusqu&rsquo;aux d\u00e9bats virulents avec Jerry Fodor et Steven Pinker, nous explorerons les soubassements formels, philosophiques et neurocognitifs d&rsquo;une th\u00e9orie qui a jet\u00e9 les bases directes de l&rsquo;apprentissage profond contemporain et de la neuropsychologie moderne.<\/p>\n<h2>1. Les origines historiques et le contexte \u00e9pist\u00e9mologique du mod\u00e8le PDP<\/h2>\n<h3>1.1 La crise du paradigme computationnel symbolique classique<\/h3>\n<p>L&rsquo;essor des sciences cognitives au cours de la seconde moiti\u00e9 du XXe si\u00e8cle s&rsquo;est structur\u00e9 autour de l&rsquo;hypoth\u00e8se centrale formul\u00e9e par Herbert Simon et Allen Newell : le syst\u00e8me de symboles physiques. Selon cette conception fonctionnaliste, l&rsquo;esprit humain est assimil\u00e9 \u00e0 une machine de Turing universelle dont les processus cognitifs se r\u00e9sument \u00e0 des calculs logiques op\u00e9rant sur des repr\u00e9sentations propositionnelles discr\u00e8tes. Cette <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/M%C3%A9taphore_de_l%27ordinateur\">m\u00e9taphore de l&rsquo;ordinateur<\/a> de Von Neumann postulait une s\u00e9paration stricte entre le support mat\u00e9riel (le <em>hardware<\/em> c\u00e9r\u00e9bral) et les programmes cognitifs (le <em>software<\/em> mental). Cette dichotomie a permis l&rsquo;autonomisation pr\u00e9coce de la psychologie cognitive, mais elle a progressivement conduit \u00e0 une impasse th\u00e9orique face \u00e0 des ph\u00e9nom\u00e8nes empiriques \u00e9l\u00e9mentaires tels que la reconnaissance visuelle imm\u00e9diate, l&rsquo;inf\u00e9rence contextuelle ou la flexibilit\u00e9 motrice.<\/p>\n<p>Les architectures symboliques classiques, fond\u00e9es sur des syst\u00e8mes experts et des grammaires de r\u00e8gles d\u00e9terministes de type \u00ab si&#8230; alors \u00bb, se sont r\u00e9v\u00e9l\u00e9es fondamentalement inaptes \u00e0 traiter la nature floue, incertaine et continue du monde r\u00e9el. D\u00e8s qu&rsquo;un stimulus sensoriel s&rsquo;\u00e9cartait l\u00e9g\u00e8rement de la norme canonique pr\u00e9d\u00e9finie ou qu&rsquo;une information manquait, ces syst\u00e8mes subissaient un effondrement catastrophique. Ils \u00e9taient incapables d&rsquo;op\u00e9rer une d\u00e9gradation gracieuse de la performance. De surcro\u00eet, le probl\u00e8me du temps de calcul posait une contradiction biologique insurmontable : le \u00ab paradoxe des 100 \u00e9tapes \u00bb soulev\u00e9 par Jerome Feldman soulignait qu&rsquo;un cerveau humain est capable d&rsquo;accomplir des t\u00e2ches de reconnaissance d&rsquo;objets ou de visages complexes en moins de 300 \u00e0 400 millisecondes. Consid\u00e9rant que la vitesse de d\u00e9charge d&rsquo;un neurone biologique est de l&rsquo;ordre de quelques millisecondes, le syst\u00e8me nerveux ne dispose que de quelques dizaines \u00e0 une centaine d&rsquo;op\u00e9rations s\u00e9quentielles au maximum pour r\u00e9soudre ces \u00e9nigmes. Une telle rapidit\u00e9 est rigoureusement incompatible avec l&rsquo;\u00e9valuation lin\u00e9aire s\u00e9quentielle de millions d&rsquo;instructions symboliques.<\/p>\n<p>Cette aporie a raviv\u00e9 l&rsquo;int\u00e9r\u00eat pour les intuitions pionni\u00e8res de la cybern\u00e9tique et du premier connexionnisme. D\u00e8s les ann\u00e9es 1940, Warren McCulloch et Walter Pitts avaient formalis\u00e9 les premiers neurones formels binaires, suivis \u00e0 la fin des ann\u00e9es 1950 par le mod\u00e8le du <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/Perceptron\">perceptron<\/a> de Frank Rosenblatt. Toutefois, cet \u00e9lan s&rsquo;\u00e9tait brutalement bris\u00e9 \u00e0 la suite de la parution en 1969 de l&rsquo;ouvrage critique de Marvin Minsky et Seymour Papert, d\u00e9montrant les limites computationnelles fatales des perceptrons monocouches, notamment leur incapacit\u00e9 \u00e0 r\u00e9soudre des probl\u00e8mes non lin\u00e9airement s\u00e9parables comme la fonction logique disjonctive exclusive (XOR). Durant plus d&rsquo;une d\u00e9cennie, le courant connexionniste fut marginalis\u00e9, per\u00e7u comme une voie sans issue technique, jusqu&rsquo;\u00e0 ce que la crise interne du logicisme et l&rsquo;apparition de nouveaux outils formels incitent une poign\u00e9e de chercheurs dissidents \u00e0 reprendre l&rsquo;investigation des micro-architectures distribu\u00e9es et parall\u00e8les.<\/p>\n<h3>1.2 L&rsquo;\u00e9mergence du groupe de recherche PDP \u00e0 l&rsquo;Universit\u00e9 de Californie \u00e0 San Diego<\/h3>\n<p>Au d\u00e9but des ann\u00e9es 1980, le renouveau de cette r\u00e9flexion prend racine sur le campus ensoleill\u00e9 de l&rsquo;Universit\u00e9 de Californie \u00e0 San Diego (UCSD). C&rsquo;est l\u00e0 que se constitue une cellule intellectuelle hors du commun, connue sous le nom informel de \u00ab groupe PDP \u00bb (<em>Parallel Distributed Processing Research Group<\/em>). Sous la codirection \u00e9clair\u00e9e de <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/David_Rumelhart\">David E. Rumelhart<\/a>, math\u00e9maticien et psychologue aux dons exceptionnels de mod\u00e9lisateur, et de <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/James_McClelland\">James L. McClelland<\/a>, sp\u00e9cialiste reconnu de l&rsquo;apprentissage et de la perception du langage, ce collectif r\u00e9unit une constellation d&rsquo;esprits brillants et pluridisciplinaires. Parmi eux figurent le jeune informaticien et cogniticien Geoffrey Hinton, le linguiste et math\u00e9maticien Paul Smolensky, mais aussi des sommit\u00e9s de la biologie mol\u00e9culaire et des neurosciences, au premier rang desquelles le laur\u00e9at du prix Nobel Francis Crick, alors chercheur au Salk Institute tout proche.<\/p>\n<p>L&rsquo;ambiance au sein du groupe PDP est marqu\u00e9e par une \u00e9mulation intellectuelle intense, aliment\u00e9e par la volont\u00e9 de faire voler en \u00e9clats le mod\u00e8le formaliste du fonctionnalisme computationnel et le mentalisme fodorien du <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/Langage_de_la_pens%C3%A9e\">langage de la pens\u00e9e<\/a>. Rumelhart et McClelland d\u00e9fendent l&rsquo;id\u00e9e qu&rsquo;il est impossible de comprendre la cognition humaine si l&rsquo;on s&rsquo;abstrait totalement des contraintes biologiques impos\u00e9es par le substrat neural. Pour eux, l&rsquo;esprit n&rsquo;est pas un logiciel d\u00e9sincarn\u00e9 ; son architecture fonctionnelle \u00e9mane directement des propri\u00e9t\u00e9s interactives et coop\u00e9ratives de ses composants cellulaires. Il ne s&rsquo;agit pas pour autant de faire de la pure neurophysiologie descriptive, mais d&rsquo;\u00e9riger une nouvelle psychologie cognitive th\u00e9orique dans laquelle l&rsquo;unit\u00e9 fondamentale de traitement est sous-symbolique, micro-structurale et dynamique.<\/p>\n<p>Le groupe de San Diego s&rsquo;engage alors dans la conception de bancs d&rsquo;essai computationnels in\u00e9dits. Tirant parti des r\u00e9cents progr\u00e8s des supercalculateurs et des stations de travail universitaires, ils d\u00e9veloppent les premiers simulateurs logiciels capables de mod\u00e9liser des r\u00e9seaux de centaines d&rsquo;unit\u00e9s interconnect\u00e9es. Ces premi\u00e8res simulations r\u00e9v\u00e8lent rapidement des comportements fascinants : auto-organisation, apprentissage associatif spontan\u00e9, r\u00e9sistance aux d\u00e9gradations structurelles et extraction automatique de contraintes statistiques enfouies dans les donn\u00e9es. Les discussions hebdomadaires d&rsquo;UCSD formalisent peu \u00e0 peu une nouvelle grammaire de l&rsquo;esprit, o\u00f9 les concepts philosophiques d&rsquo;intentionnalit\u00e9, de m\u00e9moire et de raisonnement se traduisent en \u00e9quations diff\u00e9rentielles, en descentes de gradient et en trajectoires dans des espaces g\u00e9om\u00e9triques multidimensionnels.<\/p>\n<h3>1.3 La publication fondatrice de 1986 et la rupture th\u00e9orique<\/h3>\n<p>L&rsquo;aboutissement de cette r\u00e9volution intellectuelle survient \u00e0 l&rsquo;automne 1986 avec la publication par les presses du MIT d&rsquo;un ouvrage monumental en deux volumes intitul\u00e9 <em>Parallel Distributed Processing: Explorations in the Microstructure of Cognition<\/em>. R\u00e9dig\u00e9 par Rumelhart, McClelland et les membres du groupe PDP, cet ensemble de textes fondateurs, bient\u00f4t surnomm\u00e9 la \u00ab bible bleue \u00bb du connexionnisme par la communaut\u00e9 scientifique, fait l&rsquo;effet d&rsquo;une d\u00e9flagration \u00e9pist\u00e9mologique au sein des sciences cognitives, de la linguistique, de la philosophie de l&rsquo;esprit et de l&rsquo;intelligence artificielle naissante.<\/p>\n<p>L&rsquo;ouvrage ne se contente pas de proposer des mod\u00e8les sp\u00e9culatifs ; il offre une armature th\u00e9orique, math\u00e9matique et computationnelle d&rsquo;une rigueur absolue. Il apporte une r\u00e9ponse d\u00e9finitive au blocage identifi\u00e9 par Minsky et Papert en d\u00e9montrant la viabilit\u00e9 op\u00e9rationnelle des r\u00e9seaux multicouches dot\u00e9s d&rsquo;unit\u00e9s interm\u00e9diaires non lin\u00e9aires. Le livre formalise un changement de lexique radical qui supplante l&rsquo;arsenal terminologique du paradigme symbolique : aux concepts de \u00ab r\u00e8gles \u00bb, de \u00ab pr\u00e9dicats \u00bb, de \u00ab grammaires propositionnelles \u00bb et d&rsquo;\u00ab adresses m\u00e9moires \u00bb se substituent ceux de \u00ab poids synaptiques \u00bb, de \u00ab patrons d&rsquo;activation \u00bb, de \u00ab relaxation de contraintes \u00bb, d&rsquo;\u00ab attracteurs dynamiques \u00bb et de \u00ab minimisation d&rsquo;\u00e9nergie libre \u00bb. La cognition est officiellement red\u00e9finie comme l&rsquo;\u00e9volution temporelle continue d&rsquo;un syst\u00e8me dynamique complexe.<\/p>\n<p>La rupture th\u00e9orique op\u00e9r\u00e9e par le diptyque de 1986 est profonde. En d\u00e9montrant que des architectures distribu\u00e9es peuvent apprendre par elles-m\u00eames des r\u00e9gularit\u00e9s morphologiques, cat\u00e9goriser des patrons visuels sans superviseur rigide et exhiber des propri\u00e9t\u00e9s \u00e9mergentes d&rsquo;une \u00e9l\u00e9gance inou\u00efe, Rumelhart et McClelland ont renvers\u00e9 la charge de la preuve. Le connexionnisme n&rsquo;est plus une curiosit\u00e9 cybern\u00e9tique oubli\u00e9e, mais le pr\u00e9tendant l\u00e9gitime au titre de paradigme unificateur de la science cognitive. D\u00e8s sa parution, l&rsquo;ouvrage d\u00e9clenche un engouement massif, suscitant \u00e0 la fois des vagues d&rsquo;adh\u00e9sion enthousiastes au sein des laboratoires de psychologie exp\u00e9rimentale et des lev\u00e9es de boucliers d&rsquo;une rare virulence chez les t\u00e9nors du computationnalisme symbolique classique.<\/p>\n<h2>2. Les fondements architecturaux du traitement distribu\u00e9 en parall\u00e8le<\/h2>\n<h3>2.1 Les huit composants majeurs du cadre PDP selon Rumelhart et McClelland<\/h3>\n<p>Dans le chapitre programmatique du premier volume de l&rsquo;ouvrage de 1986, Rumelhart, Hinton et McClelland posent les jalons math\u00e9matiques universels de leur formalisme en \u00e9tablissant une d\u00e9composition canonique de tout mod\u00e8le de traitement distribu\u00e9 en parall\u00e8le en huit composants fondamentaux. Cette nomenclature formalise le cadre fonctionnel dans lequel toute simulation sous-symbolique doit s&rsquo;inscrire, garantissant une comparabilit\u00e9 th\u00e9orique rigoureuse entre des mod\u00e8les appliqu\u00e9s \u00e0 des domaines cognitifs extr\u00eamement disparates.<\/p>\n<p>Ces huit piliers structuraux s&rsquo;\u00e9noncent comme suit :<\/p>\n<ul>\n<li><strong>Un ensemble d&rsquo;unit\u00e9s de traitement simples :<\/strong> Le r\u00e9seau est constitu\u00e9 d&rsquo;une population de processeurs \u00e9l\u00e9mentaires (not\u00e9s usuellement <em>u<sub>i<\/sub><\/em>), largement interconnect\u00e9s, d\u00e9pourvus d&rsquo;intelligence propre, dont le seul r\u00f4le est d&rsquo;agr\u00e9ger des signaux et de propager une valeur scalaire.<\/li>\n<li><strong>Un \u00e9tat d&rsquo;activation :<\/strong> \u00c0 chaque instant discret ou continu <em>t<\/em>, chaque unit\u00e9 est caract\u00e9ris\u00e9e par un niveau d&rsquo;activation interne scalaire, not\u00e9 <em>a<sub>i<\/sub>(t)<\/em>, g\u00e9n\u00e9ralement contraint dans un intervalle ferm\u00e9 comme [0, 1] ou [-1, 1].<\/li>\n<li><strong>Une fonction de sortie :<\/strong> Chaque unit\u00e9 convertit son activation interne en un signal de sortie sortant, not\u00e9 <em>o<sub>i<\/sub>(t) = f(a<sub>i<\/sub>(t))<\/em>, souvent d\u00e9termin\u00e9 par une fonction identit\u00e9 ou une fonction \u00e0 seuil simple.<\/li>\n<li><strong>Un patron de connectivit\u00e9 :<\/strong> La topologie du syst\u00e8me est dict\u00e9e par une matrice de poids synaptiques, o\u00f9 l&rsquo;\u00e9l\u00e9ment <em>w<sub>ij<\/sub><\/em> quantifie l&rsquo;influence directionnelle exerc\u00e9e par l&rsquo;unit\u00e9 \u00e9mettrice <em>u<sub>j<\/sub><\/em> sur l&rsquo;unit\u00e9 r\u00e9ceptrice <em>u<sub>i<\/sub><\/em>.<\/li>\n<li><strong>Une r\u00e8gle de propagation :<\/strong> Un op\u00e9rateur math\u00e9matique combine l&rsquo;ensemble des signaux incidents pond\u00e9r\u00e9s avec d&rsquo;\u00e9ventuels biais externes pour d\u00e9terminer l&rsquo;entr\u00e9e nette globale (<em>net input<\/em>) parvenant \u00e0 l&rsquo;unit\u00e9 r\u00e9ceptrice.<\/li>\n<li><strong>Une fonction d&rsquo;activation :<\/strong> Une relation fonctionnelle math\u00e9matique souvent fortement non lin\u00e9aire r\u00e9actualise l&rsquo;\u00e9tat d&rsquo;activation interne <em>a<sub>i<\/sub>(t+1)<\/em> en fonction de son entr\u00e9e nette courante et de son \u00e9tat ant\u00e9rieur.<\/li>\n<li><strong>Une r\u00e8gle d&rsquo;apprentissage :<\/strong> Un algorithme formel r\u00e9gissant la plasticit\u00e9 synaptique, qui modifie graduellement les coefficients de la matrice de poids <em>w<sub>ij<\/sub><\/em> au fil du temps et de l&rsquo;exp\u00e9rience sensorielle.<\/li>\n<li><strong>Un environnement op\u00e9ratoire :<\/strong> L&rsquo;\u00e9cologie informationnelle dans laquelle est immerg\u00e9 le r\u00e9seau, fournissant un flux de patrons de stimulation d&rsquo;entr\u00e9e et recevant les r\u00e9troactions ou signaux d&rsquo;erreur cons\u00e9cutifs aux r\u00e9ponses produites.<\/li>\n<\/ul>\n<h3>2.2 Unit\u00e9s de traitement, \u00e9tats d&rsquo;activation et fonctions de transfert<\/h3>\n<p>L&rsquo;anatomie computationnelle d&rsquo;un r\u00e9seau PDP repose sur une organisation typologique rigoureuse de ses unit\u00e9s fondamentales. Sur le plan de la macro-structure du r\u00e9seau, on distingue traditionnellement trois ensembles d&rsquo;unit\u00e9s : les <strong>unit\u00e9s d&rsquo;entr\u00e9e<\/strong>, dont l&rsquo;\u00e9tat d&rsquo;activation est directement asservi aux signaux provenant de l&rsquo;environnement ext\u00e9rieur ; les <strong>unit\u00e9s de sortie<\/strong>, qui manifestent la r\u00e9ponse motrice ou conceptuelle du r\u00e9seau face au stimulus ; et les <strong>unit\u00e9s cach\u00e9es<\/strong> (<em>hidden units<\/em>). Ces derni\u00e8res, v\u00e9ritables organes du calcul sous-symbolique, n&rsquo;ont aucune communication directe avec le monde ext\u00e9rieur. Leur pr\u00e9sence permet au r\u00e9seau d&rsquo;\u00e9laborer de mani\u00e8re enti\u00e8rement autonome des repr\u00e9sentations internes interm\u00e9diaires, brisant la barri\u00e8re de la lin\u00e9arit\u00e9 en construisant de nouveaux espaces de projection g\u00e9om\u00e9trique.<\/p>\n<p>Contrairement aux mod\u00e8les de neurones binaires de type McCulloch-Pitts qui op\u00e9raient par tout-ou-rien (0 ou 1), le cadre PDP privil\u00e9gie une dynamique d&rsquo;activation continue. L&rsquo;entr\u00e9e nette <em>net<sub>i<\/sub><\/em> re\u00e7ue par une unit\u00e9 <em>u<sub>i<\/sub><\/em> r\u00e9sulte classiquement de la sommation alg\u00e9brique des produits de l&rsquo;activation des unit\u00e9s aff\u00e9rentes par la force de leur liaison respective, \u00e0 laquelle s&rsquo;ajoute un terme de polarisation scalaire nomm\u00e9 biais (<em>bias<\/em> ou <em>\u03b8<sub>i<\/sub><\/em>) :<\/p>\n<p><em>net<sub>i<\/sub> = \u2211<sub>j<\/sub> (w<sub>ij<\/sub> \u00b7 o<sub>j<\/sub>) + \u03b8<sub>i<\/sub><\/em><\/p>\n<p>Pour d\u00e9terminer le nouvel \u00e9tat d&rsquo;activation de l&rsquo;unit\u00e9, cette entr\u00e9e nette est transmise \u00e0 une <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/Fonction_d%27activation\">fonction d&rsquo;activation<\/a> non lin\u00e9aire continue. Les fonctions les plus fr\u00e9quemment mobilis\u00e9es par Rumelhart et McClelland sont la <strong>fonction sigmo\u00efde<\/strong> (ou logistique) d\u00e9finie par :<\/p>\n<p><em>a<sub>i<\/sub> = 1 \/ (1 + e<sup>-net<sub>i<\/sub><\/sup>)<\/em><\/p>\n<p>et la fonction <strong>tangente hyperbolique<\/strong>. L&rsquo;introduction de telles fonctions pr\u00e9sente deux vertus fondamentales. Sur le plan computationnel, leur profil en \u00ab S \u00bb permet d&rsquo;\u00e9craser les valeurs extr\u00eames (effet de saturation) tout en conservant une grande sensibilit\u00e9 diff\u00e9rentielle autour du seuil critique d&rsquo;activation, ce qui immunise le syst\u00e8me contre l&rsquo;explosion combinatoire des signaux. Sur le plan math\u00e9matique, leur nature strictement diff\u00e9rentiable et continue sur l&rsquo;ensemble de leur domaine constitue le pr\u00e9requis indispensable au calcul du gradient d&rsquo;erreur n\u00e9cessaire \u00e0 l&rsquo;ajustement adaptatif des poids lors des phases d&rsquo;apprentissage supervis\u00e9.<\/p>\n<h3>2.3 La matrice de connectivit\u00e9 et le stockage synaptique<\/h3>\n<p>Dans l&rsquo;architecture de Von Neumann, une ligne de d\u00e9marcation absolue est trac\u00e9e entre les m\u00e9moires de stockage passives (registres, m\u00e9moire vive, disques) et l&rsquo;unit\u00e9 centrale de traitement active charg\u00e9e d&rsquo;ex\u00e9cuter s\u00e9quentiellement des instructions pr\u00e9programm\u00e9es. Le cadre PDP op\u00e8re une r\u00e9unification radicale de ces deux dimensions : <strong>le traitement est la m\u00e9moire, et la m\u00e9moire est le traitement<\/strong>. Aucune case m\u00e9moire n&rsquo;est assign\u00e9e \u00e0 un concept ou \u00e0 un fait empirique. La totalit\u00e9 de la base de connaissances accumul\u00e9e par le syst\u00e8me est int\u00e9gralement ench\u00e2ss\u00e9e dans la matrice de connectivit\u00e9 du r\u00e9seau, c&rsquo;est-\u00e0-dire dans l&rsquo;ensemble des coefficients pond\u00e9r\u00e9s scalaires <em>w<sub>ij<\/sub><\/em> associant chaque unit\u00e9 \u00e0 toutes les autres.<\/p>\n<p>Cette connectivit\u00e9 se d\u00e9ploie selon une bipolarit\u00e9 fonctionnelle directe. Si le coefficient de pond\u00e9ration est strictement positif (<em>w<sub>ij<\/sub> &gt; 0<\/em>), la liaison est dite <strong>excitatrice<\/strong> : l&rsquo;activation de l&rsquo;unit\u00e9 pr\u00e9synaptique favorise directement la mise en tension et le passage \u00e0 l&rsquo;\u00e9tat actif de l&rsquo;unit\u00e9 postsynaptique. Inversement, si le coefficient est n\u00e9gatif (<em>w<sub>ij<\/sub> &lt; 0<\/em>), la relation est dite <strong>inhibitrice<\/strong> : la d\u00e9charge de l&rsquo;unit\u00e9 \u00e9mettrice r\u00e9prime l&rsquo;activation du r\u00e9cepteur, impl\u00e9mentant des m\u00e9canismes de rivalit\u00e9 concurrentielle ou d&rsquo;exclusion mutuelle indispensables au filtrage perceptif. Cette dynamique d&rsquo;inhibition et d&rsquo;excitation pond\u00e9r\u00e9e refl\u00e8te le comportement des synapses chimiques c\u00e9r\u00e9brales r\u00e9gies par les neurotransmetteurs comme le glutamate et le GABA.<\/p>\n<p>Le statut des poids synaptiques est fondamentalement plastique et non d\u00e9terministe. Chaque coefficient repr\u00e9sente un param\u00e8tre souple, susceptible d&rsquo;ajustements microm\u00e9triques au gr\u00e9 des r\u00e9troactions environnementales et des cycles d&rsquo;apprentissage. L&rsquo;\u00e9quipotentialit\u00e9 fonctionnelle du r\u00e9seau en d\u00e9coule : une m\u00eame matrice de connexions h\u00e9berge simultan\u00e9ment des milliers de configurations de connectivit\u00e9 virtuelles enchev\u00eatr\u00e9es. L&rsquo;information n&rsquo;\u00e9tant pas confin\u00e9e \u00e0 un locus physique univoque mais \u00e9tal\u00e9e \u00e0 travers toute la structure des liaisons, la destruction localis\u00e9e de quelques synapses n&rsquo;entra\u00eene pas la perte d&rsquo;un pan entier de la m\u00e9moire, mais seulement une l\u00e9g\u00e8re d\u00e9gradation diffuse du signal global.<\/p>\n<h2>3. Repr\u00e9sentation locale contre repr\u00e9sentation distribu\u00e9e<\/h2>\n<h3>3.1 Le principe fondamental de la microstructure cognitive<\/h3>\n<p>L&rsquo;un des apports \u00e9pist\u00e9mologiques les plus d\u00e9cisifs de l&rsquo;\u00e9cole connexionniste r\u00e9side dans sa th\u00e9orisation rigoureuse de la nature des repr\u00e9sentations internes. Historiquement, deux grands sch\u00e9mas explicatifs s&rsquo;opposaient en psychologie computationnelle : l&rsquo;approche <strong>localiste<\/strong> et l&rsquo;approche <strong>distribu\u00e9e<\/strong>. L&rsquo;approche localiste, illustr\u00e9e de fa\u00e7on m\u00e9taphorique par le concept neurophysiologique de \u00ab neurone grand-m\u00e8re \u00bb (ou <em>gnostic unit<\/em> de Jerome Konorski), postulait qu&rsquo;\u00e0 chaque entit\u00e9 discr\u00e8te du monde r\u00e9el \u2014 une personne donn\u00e9e, le concept de chaise, un mot sp\u00e9cifique \u2014 devait correspondre un neurone ou un symbole formellement d\u00e9di\u00e9 au sein de la m\u00e9moire centrale.<\/p>\n<p>\u00c0 l&rsquo;oppos\u00e9 de cette conception cloisonn\u00e9e, Rumelhart et McClelland \u00e9rigent la <strong>repr\u00e9sentation distribu\u00e9e<\/strong> en dogme central du paradigme PDP. Dans ce cadre, un concept, une image mentale ou un percept sensoriel ne r\u00e9side jamais dans une unit\u00e9 unique isol\u00e9e. Une entit\u00e9 cognitive correspond rigoureusement \u00e0 un <strong>patron d&rsquo;activation spatio-temporel \u00e9tendu<\/strong> \u00e0 travers une vaste constellation d&rsquo;unit\u00e9s \u00e9l\u00e9mentaires sous-symboliques. Chaque unit\u00e9 individuelle, prise isol\u00e9ment, ne poss\u00e8de aucune signification conceptuelle univoque ; elle ne code qu&rsquo;un fragment d&rsquo;attribut micro-caract\u00e9ristique, sub-lexical ou sub-s\u00e9mantique. C&rsquo;est uniquement la configuration globale de l&rsquo;ensemble du r\u00e9seau \u00e0 un instant pr\u00e9cis qui fait \u00e9merger le sens.<\/p>\n<p>Cette distinction conceptuelle implique un partage massif et permanent des ressources de traitement : une m\u00eame unit\u00e9 sous-symbolique participe simultan\u00e9ment \u00e0 l&rsquo;encodage de milliers de concepts totalement h\u00e9t\u00e9rog\u00e8nes. Par exemple, une unit\u00e9 sensible \u00e0 une micro-propri\u00e9t\u00e9 telle que \u00ab surface brillante \u00bb ou \u00ab forme courbe \u00bb sera mobilis\u00e9e tout autant lors de l&rsquo;activation du concept d&rsquo;\u00ab automobile \u00bb que lors de l&rsquo;\u00e9vocation d&rsquo;une \u00ab pomme \u00bb ou d&rsquo;un \u00ab miroir \u00bb. La microstructure cognitive s&rsquo;apparente ainsi \u00e0 un champ de forces interactives o\u00f9 la pens\u00e9e \u00e9merge de la trajectoire dynamique emprunt\u00e9e par les \u00e9tats d&rsquo;activation au sein d&rsquo;un espace g\u00e9om\u00e9trique vectoriel.<\/p>\n<h3>3.2 Espaces d&rsquo;\u00e9tats vectoriels et similarit\u00e9 s\u00e9mantique<\/h3>\n<p>La formalisation du codage distribu\u00e9 s&rsquo;op\u00e8re par le recours \u00e0 l&rsquo;alg\u00e8bre lin\u00e9aire et \u00e0 la g\u00e9om\u00e9trie diff\u00e9rentielle. Si un r\u00e9seau comporte <em>N<\/em> unit\u00e9s de traitement cach\u00e9es, l&rsquo;\u00e9tat global du syst\u00e8me \u00e0 un instant donn\u00e9 correspond de facto \u00e0 un <strong>vecteur d&rsquo;activation<\/strong> positionn\u00e9 dans un espace g\u00e9om\u00e9trique continu \u00e0 <em>N<\/em> dimensions :<\/p>\n<p><em>V = (a<sub>1<\/sub>, a<sub>2<\/sub>, &#8230;, a<sub>N<\/sub>) \u2208 \u211d<sup>N<\/sup><\/em><\/p>\n<p>Dans ce cadre g\u00e9om\u00e9trique, le traitement cognitif ne consiste plus \u00e0 appliquer des r\u00e8gles formelles d&rsquo;inf\u00e9rence d\u00e9ductive, mais \u00e0 projeter des vecteurs d&rsquo;entr\u00e9e dans des sous-espaces s\u00e9mantiques optimis\u00e9s au moyen de transformations matricielles successives.<\/p>\n<p>L&rsquo;avantage cardinal de cette repr\u00e9sentation r\u00e9side dans le fait que la <a rel=\"noopener noreferrer\" href=\"https:\/\/plato.stanford.edu\/entries\/connectionism\/\">similarit\u00e9 s\u00e9mantique<\/a> n&rsquo;a plus besoin d&rsquo;\u00eatre explicitement encod\u00e9e sous forme de liens hi\u00e9rarchiques ou d&rsquo;arbres taxinomiques rigides. Elle d\u00e9coule naturellement de la m\u00e9trique spatiale inh\u00e9rente \u00e0 l&rsquo;espace vectoriel. Deux concepts s\u00e9mantiquement apparent\u00e9s \u2014 par exemple \u00ab gu\u00e9pard \u00bb et \u00ab l\u00e9opard \u00bb \u2014 activeront des patrons de d\u00e9charge sous-symboliques extr\u00eamement proches, ce qui se traduit par une proximit\u00e9 spatiale \u00e9troite de leurs vecteurs respectifs au sein de l&rsquo;espace \u00e0 <em>N<\/em> dimensions, mesurable par une faible distance euclidienne ou un coefficient de corr\u00e9lation cosinus \u00e9lev\u00e9 :<\/p>\n<p><em>cos(\u03b8) = (V<sub>1<\/sub> \u00b7 V<sub>2<\/sub>) \/ (||V<sub>1<\/sub>|| \u00b7 ||V<sub>2<\/sub>||)<\/em><\/p>\n<p>Cette g\u00e9om\u00e9trie vectorielle conf\u00e8re aux r\u00e9seaux distribu\u00e9s une propension spontan\u00e9e \u00e0 l&rsquo;abstraction, \u00e0 la g\u00e9n\u00e9ralisation inductive et \u00e0 l&rsquo;organisation conceptuelle en cat\u00e9gories naturelles. Sans qu&rsquo;aucune hi\u00e9rarchie formelle de classes et de sous-classes ne lui soit jamais inject\u00e9e par le programmeur, le r\u00e9seau apprend par agr\u00e9gation statistique \u00e0 sculpter des r\u00e9gions d&rsquo;attraction contigu\u00ebs au sein de son espace interne. L&rsquo;abstraction n&rsquo;est plus une op\u00e9ration logique complexe consistant \u00e0 \u00e9laguer des variables, mais un simple barycentre g\u00e9om\u00e9trique : le concept abstrait d&rsquo;\u00ab oiseau \u00bb \u00e9merge comme le centro\u00efde dynamique autour duquel gravitent les repr\u00e9sentations distribu\u00e9es sp\u00e9cifiques des \u00e9tourneaux, des moineaux et des aigles.<\/p>\n<h3>3.3 Propri\u00e9t\u00e9s \u00e9mergentes : compl\u00e9tion de patrons et d\u00e9gradation gracieuse<\/h3>\n<p>L&rsquo;abandon de l&rsquo;architecture localiste au profit du codage distribu\u00e9 dote les syst\u00e8mes PDP de deux propri\u00e9t\u00e9s cognitives majeures, qui faisaient cruellement d\u00e9faut aux intelligences artificielles de premi\u00e8re g\u00e9n\u00e9ration : la <strong>compl\u00e9tion de patrons<\/strong> (<em>pattern completion<\/em>) et la <strong>d\u00e9gradation gracieuse<\/strong> (<em>graceful degradation<\/em>).<\/p>\n<p>La compl\u00e9tion de patrons correspond \u00e0 la capacit\u00e9 inh\u00e9rente du r\u00e9seau \u00e0 reconstruire la totalit\u00e9 d&rsquo;un stimulus signifiant \u00e0 partir d&rsquo;un ensemble d&rsquo;indices perceptifs hautement fragmentaires, bruit\u00e9s ou d\u00e9grad\u00e9s. D\u00e8s lors qu&rsquo;un stimulus partiel excite un sous-ensemble d&rsquo;unit\u00e9s caract\u00e9ristiques d&rsquo;un concept, les forces d&rsquo;attraction synaptiques mutuelles inscrites dans la matrice de connectivit\u00e9 propagent l&rsquo;activation vers les unit\u00e9s absentes de la stimulation initiale. Par un processus dynamique de <em>relaxation de contraintes<\/em>, le r\u00e9seau fait converger l&rsquo;\u00e9tat d&rsquo;activation global vers le puits d&rsquo;\u00e9nergie le plus proche, restaurant spontan\u00e9ment l&rsquo;int\u00e9gralit\u00e9 du patron prototypique correspondant. Ce m\u00e9canisme rend compte avec une fid\u00e9lit\u00e9 frappante de la perception humaine, capable de reconna\u00eetre un objet familier masqu\u00e9 en partie par un obstacle ou d&rsquo;identifier une m\u00e9lodie alt\u00e9r\u00e9e par un environnement assourdissant.<\/p>\n<p>La d\u00e9gradation gracieuse, quant \u00e0 elle, r\u00e9sout l&rsquo;\u00e9pineux probl\u00e8me de la fragilit\u00e9 structurelle des syst\u00e8mes formels. Dans un ordinateur classique, la d\u00e9t\u00e9rioration d&rsquo;un seul bit de code ou la section physique d&rsquo;une ligne de bus entra\u00eene l&rsquo;interruption brutale de l&rsquo;ex\u00e9cution du programme. Dans un syst\u00e8me PDP, o\u00f9 chaque connaissance est diffuse \u00e0 travers des milliers de pond\u00e9rations synaptiques, la l\u00e9sion partielle du syst\u00e8me (qu&rsquo;il s&rsquo;agisse de la destruction d&rsquo;unit\u00e9s al\u00e9atoires ou de la suppression partielle de connexions) ne provoque aucun effondrement catastrophique. La performance globale du syst\u00e8me d\u00e9cline de mani\u00e8re douce, continue et proportionnelle \u00e0 l&rsquo;ampleur du dommage subi. Cette r\u00e9silience intrins\u00e8que constitue l&rsquo;analogue direct de la tol\u00e9rance aux l\u00e9sions c\u00e9r\u00e9brales observ\u00e9e par la neurologie clinique, o\u00f9 la destruction progressive de tissus corticaux n&rsquo;abolit pas subitement des fonctions cognitives enti\u00e8res mais en alt\u00e8re la pr\u00e9cision de fa\u00e7on graduelle et compens\u00e9e.<\/p>\n<h2>4. M\u00e9canismes d&rsquo;apprentissage et la r\u00e8gle de r\u00e9tropropagation de l&rsquo;erreur<\/h2>\n<h3>4.1 De la plasticit\u00e9 hebbienne \u00e0 la r\u00e8gle Delta g\u00e9n\u00e9ralis\u00e9e<\/h3>\n<p>L&rsquo;un des d\u00e9fis historiques majeurs du connexionnisme r\u00e9sidait dans l&rsquo;\u00e9laboration de lois formelles d\u00e9crivant rigoureusement la mani\u00e8re dont un agr\u00e9gat de n\u0153uds de traitement peut auto-ajuster ses connexions synaptiques pour acqu\u00e9rir des comp\u00e9tences cognitives sans intervention manuelle. Le premier mod\u00e8le d&rsquo;apprentissage synaptique biologique avait \u00e9t\u00e9 formul\u00e9 en 1949 par le neuropsychologue canadien <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/Donald_Hebb\">Donald Hebb<\/a>. Sa c\u00e9l\u00e8bre maxime postulait que lorsque deux neurones d\u00e9chargent de mani\u00e8re concomitante et r\u00e9p\u00e9t\u00e9e, l&rsquo;efficacit\u00e9 synaptique de leur interconnexion s&rsquo;en trouve s\u00e9lectivement renforc\u00e9e :<\/p>\n<p><em>\u0394w<sub>ij<\/sub> = \u03b7 \u00b7 a<sub>i<\/sub> \u00b7 a<sub>j<\/sub><\/em><\/p>\n<p>o\u00f9 <em>\u03b7<\/em> repr\u00e9sente le taux d&rsquo;apprentissage. Toutefois, bien qu&rsquo;\u00e9l\u00e9gante et biologiquement plausible, cette r\u00e8gle hebbienne purement associative et non supervis\u00e9e se r\u00e9v\u00e9lait rapidement instable, incapable de saturation et totalement inefficace pour contraindre un r\u00e9seau \u00e0 converger vers une t\u00e2che computationnelle hautement complexe.<\/p>\n<p>Une \u00e9tape d\u00e9terminante fut franchie en 1960 par Bernard Widrow et Ted Hoff avec l&rsquo;introduction de la <strong>r\u00e8gle Delta<\/strong> (ou r\u00e8gle des moindres carr\u00e9s moyens \/ LMS), appliqu\u00e9e aux mod\u00e8les de type Adaline. Contrairement \u00e0 la plasticit\u00e9 hebbienne, la r\u00e8gle Delta est un algorithme d&rsquo;apprentissage supervis\u00e9 guid\u00e9 par l&rsquo;erreur. La modification du poids est proportionnelle \u00e0 la diff\u00e9rence math\u00e9matique constat\u00e9e entre la sortie effectivement \u00e9mise par le n\u0153ud r\u00e9cepteur (<em>o<sub>i<\/sub><\/em>) et une cible d&rsquo;activation id\u00e9ale (<em>t<sub>i<\/sub><\/em>) transmise par un environnement externe :<\/p>\n<p><em>\u0394w<sub>ij<\/sub> = \u03b7 \u00b7 (t<sub>i<\/sub> &#8211; o<sub>i<\/sub>) \u00b7 o<sub>j<\/sub><\/em><\/p>\n<p>Cependant, la r\u00e8gle Delta classique souffrait d&rsquo;une contrainte math\u00e9matique r\u00e9dhibitoire : elle ne pouvait s&rsquo;appliquer qu&rsquo;\u00e0 des r\u00e9seaux \u00e0 une seule couche de connexions directs, reliant imm\u00e9diatement les entr\u00e9es aux sorties lin\u00e9aires. Elle \u00e9tait par cons\u00e9quent totalement d\u00e9sarm\u00e9e face au probl\u00e8me du ou exclusif (XOR) et aux classifications g\u00e9om\u00e9triques non lin\u00e9aires soulign\u00e9s par Minsky et Papert.<\/p>\n<p>Pour d\u00e9passer ce verrou th\u00e9orique historique, il \u00e9tait math\u00e9matiquement obligatoire d&rsquo;intercaler une ou plusieurs strates d&rsquo;unit\u00e9s cach\u00e9es entre la couche d&rsquo;entr\u00e9e et la couche de sortie. Or, une question vertigineuse restait sans r\u00e9ponse : comment calculer le signal d&rsquo;erreur d&rsquo;une unit\u00e9 cach\u00e9e qui, par d\u00e9finition, n&rsquo;a aucun contact avec la cible externe <em>t<sub>i<\/sub><\/em> ? Comment savoir dans quelle proportion une synapse interm\u00e9diaire profond\u00e9ment enfouie \u00e0 l&rsquo;int\u00e9rieur du r\u00e9seau a contribu\u00e9 \u00e0 l&rsquo;erreur finale observ\u00e9e en surface ? C&rsquo;est ce redoutable \u00ab probl\u00e8me de l&rsquo;assignation du bl\u00e2me \u00bb (<em>credit assignment problem<\/em>) que Rumelhart, Hinton et Ronald J. Williams vont r\u00e9soudre magistralement en formalisant la <strong>r\u00e8gle Delta g\u00e9n\u00e9ralis\u00e9e<\/strong>, inaugurant ainsi l&rsquo;\u00e8re moderne de l&rsquo;apprentissage automatique.<\/p>\n<h3>4.2 L&rsquo;algorithme de r\u00e9tropropagation du gradient (Backpropagation)<\/h3>\n<p>Publi\u00e9e dans un article historique paru dans la revue <em>Nature<\/em> en 1986 et reprise en d\u00e9tail dans le premier volume de <em>PDP<\/em>, la formulation par David Rumelhart, Geoffrey Hinton et Ronald Williams de l&rsquo;algorithme de <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/R%C3%A9tropropagation_du_gradient\">r\u00e9tropropagation du gradient<\/a> (<em>backpropagation<\/em>) constitue sans doute la perc\u00e9e m\u00e9thodologique la plus influente de l&rsquo;histoire des sciences cognitives computationnelles. Ce formalisme d\u00e9ploie une application syst\u00e9matique de la r\u00e8gle de d\u00e9rivation des fonctions compos\u00e9es (<em>chain rule<\/em> du calcul infinit\u00e9simal) pour propager un signal d&rsquo;erreur de la sortie vers l&rsquo;entr\u00e9e \u00e0 travers toutes les couches interm\u00e9diaires non lin\u00e9aires.<\/p>\n<p>Le processus d\u00e9bute par la d\u00e9finition d&rsquo;une fonction de co\u00fbt mesurant l&rsquo;erreur quadratique globale commise par le r\u00e9seau sur l&rsquo;ensemble de ses <em>K<\/em> unit\u00e9s de sortie pour un patron d&rsquo;apprentissage <em>p<\/em> donn\u00e9 :<\/p>\n<p><em>E<sub>p<\/sub> = 1\/2 \u2211<sub>k<\/sub> (t<sub>pk<\/sub> &#8211; o<sub>pk<\/sub>)<sup>2<\/sup><\/em><\/p>\n<p>L&rsquo;objectif de l&rsquo;apprentissage est de trouver la configuration optimale de l&rsquo;ensemble de la matrice des poids qui minimise cette fonction d&rsquo;\u00e9nergie globale. Pour ce faire, l&rsquo;algorithme calcule la d\u00e9riv\u00e9e partielle de l&rsquo;erreur par rapport \u00e0 chaque poids de connexion <em>w<sub>ij<\/sub><\/em> individuel, ce qui correspond \u00e0 la pente locale (le gradient) de la surface d&rsquo;erreur.<\/p>\n<p>Pour les unit\u00e9s de la couche de sortie, le calcul du signal d&rsquo;erreur scalaire <em>\u03b4<sub>pk<\/sub><\/em> est direct, exploitant la d\u00e9riv\u00e9e de la fonction d&rsquo;activation sigmo\u00efde <em>f&rsquo;<\/em> :<\/p>\n<p><em>\u03b4<sub>pk<\/sub> = (t<sub>pk<\/sub> &#8211; o<sub>pk<\/sub>) \u00b7 f'(net<sub>pk<\/sub>) = (t<sub>pk<\/sub> &#8211; o<sub>pk<\/sub>) \u00b7 o<sub>pk<\/sub> \u00b7 (1 &#8211; o<sub>pk<\/sub>)<\/em><\/p>\n<p>La prouesse math\u00e9matique de Rumelhart et de ses collaborateurs s&rsquo;incarne dans le calcul du gradient pour les couches cach\u00e9es sous-jacentes. Puisque l&rsquo;erreur d&rsquo;une unit\u00e9 cach\u00e9e <em>j<\/em> d\u00e9coule de son impact cumul\u00e9 sur l&rsquo;ensemble des unit\u00e9s de la couche sup\u00e9rieure <em>k<\/em> auxquelles elle envoie ses axones virtuels, son signal d&rsquo;erreur <em>\u03b4<sub>pj<\/sub><\/em> s&rsquo;obtient en sommant les erreurs pond\u00e9r\u00e9es des unit\u00e9s aval :<\/p>\n<p><em>\u03b4<sub>pj<\/sub> = f'(net<sub>pj<\/sub>) \u00b7 \u2211<sub>k<\/sub> (\u03b4<sub>pk<\/sub> \u00b7 w<sub>kj<\/sub>)<\/em><\/p>\n<p>L&rsquo;erreur se r\u00e9tropropage ainsi en sens inverse du flux d&rsquo;activation perceptif normal : de la sortie vers les couches cach\u00e9es, puis vers les unit\u00e9s r\u00e9ceptrices initiales. L&rsquo;ajustement final du coefficient de connexion \u00e0 chaque pas it\u00e9ratif s&rsquo;ex\u00e9cute selon la formule classique :<\/p>\n<p><em>\u0394w<sub>ji<\/sub> = \u03b7 \u00b7 \u03b4<sub>pj<\/sub> \u00b7 o<sub>pi<\/sub><\/em><\/p>\n<p>Par ce m\u00e9canisme continu, le r\u00e9seau recalibre insensiblement ses repr\u00e9sentations vectorielles internes, chaque unit\u00e9 cach\u00e9e devenant spontan\u00e9ment un d\u00e9tecteur d&rsquo;attributs de plus en plus pertinent pour la r\u00e9solution de la t\u00e2che demand\u00e9e.<\/p>\n<h3>4.3 Dynamique d&rsquo;optimisation et d\u00e9fis d&rsquo;apprentissage<\/h3>\n<p>La mise en \u0153uvre pratique de la r\u00e9tropropagation du gradient a imm\u00e9diatement confront\u00e9 les chercheurs \u00e0 la complexit\u00e9 physique de la dynamique des paysages d&rsquo;optimisation multidimensionnels. L&rsquo;un des hyperparam\u00e8tres les plus critiques est le <strong>taux d&rsquo;apprentissage<\/strong> (<em>\u03b7<\/em>). Si ce coefficient scalaire est r\u00e9gl\u00e9 \u00e0 une valeur trop basse, la convergence du r\u00e9seau vers un niveau d&rsquo;erreur acceptable r\u00e9clame des centaines de milliers de cycles de calcul, ralentissant dramatiquement l&rsquo;exploration cognitive. \u00c0 l&rsquo;inverse, si <em>\u03b7<\/em> est calibr\u00e9 de fa\u00e7on trop agressive, les sauts vectoriels \u00e0 travers la surface d&rsquo;erreur risquent d&rsquo;entra\u00eener des oscillations perp\u00e9tuelles de part et d&rsquo;autre des vall\u00e9es d&rsquo;optimisation, voire une divergence compl\u00e8te de l&rsquo;algorithme vers l&rsquo;infini.<\/p>\n<p>Pour stabiliser et acc\u00e9l\u00e9rer cette descente g\u00e9om\u00e9trique, Rumelhart et McClelland introduisirent une correction formelle \u00e9l\u00e9gante baptis\u00e9e <strong>terme de moment<\/strong> (<em>momentum term<\/em>, not\u00e9 <em>\u03b1<\/em>). La mise \u00e0 jour des poids int\u00e8gre d\u00e8s lors une fraction de la modification synaptique appliqu\u00e9e lors de l&rsquo;it\u00e9ration pr\u00e9c\u00e9dente :<\/p>\n<p><em>\u0394w<sub>ji<\/sub>(t) = \u03b7 \u00b7 \u03b4<sub>pj<\/sub> \u00b7 o<sub>pi<\/sub> + \u03b1 \u00b7 \u0394w<sub>ji<\/sub>(t-1)<\/em><\/p>\n<p>Ce terme d&rsquo;inertie conf\u00e8re au d\u00e9placement dans l&rsquo;espace d&rsquo;erreur les propri\u00e9t\u00e9s physiques d&rsquo;une bille lourde d\u00e9valant une pente : le syst\u00e8me traverse sans ralentir les plateaux monotones (les vall\u00e9es d&rsquo;\u00e9tranglement) et acquiert la v\u00e9locit\u00e9 n\u00e9cessaire pour s&rsquo;extraire des <strong>minima locaux<\/strong> sous-optimaux, ces pi\u00e8ges g\u00e9om\u00e9triques o\u00f9 le gradient s&rsquo;annule sans que le r\u00e9seau n&rsquo;ait d\u00e9couvert la solution optimale globale.<\/p>\n<p>De surcro\u00eet, les simulations du groupe PDP ont mis en lumi\u00e8re la dialectique fascinante entre surapprentissage (<em>overfitting<\/em>) et r\u00e9gularisation cognitive. Si un r\u00e9seau de neurones artificiels dispose d&rsquo;un contingent disproportionn\u00e9 d&rsquo;unit\u00e9s cach\u00e9es par rapport \u00e0 la taille de la base de donn\u00e9es d&rsquo;apprentissage, il cesse d&rsquo;abstraire des principes g\u00e9n\u00e9raux : il commence \u00e0 m\u00e9moriser servilement par c\u0153ur chaque exemple particulier, bruit inclus, perdant toute capacit\u00e9 de g\u00e9n\u00e9ralisation \u00e0 des stimuli in\u00e9dits. Rumelhart a d\u00e9montr\u00e9 que la contrainte structurelle \u2014 c&rsquo;est-\u00e0-dire le goulot d&rsquo;\u00e9tranglement dimensionnel impos\u00e9 par un nombre modeste d&rsquo;unit\u00e9s interm\u00e9diaires \u2014 force le r\u00e9seau \u00e0 comprimer l&rsquo;information, le contraignant ainsi \u00e0 d\u00e9couvrir les v\u00e9ritables invariants s\u00e9mantiques et les corr\u00e9lations causales profondes sous-tendant son \u00e9cologie perceptive.<\/p>\n<h2>5. Mod\u00e9lisation de la perception et de la lecture : Le mod\u00e8le d&rsquo;activation interactive<\/h2>\n<h3>5.1 L&rsquo;effet de sup\u00e9riorit\u00e9 du mot revisit\u00e9 (McClelland &#038; Rumelhart, 1981)<\/h3>\n<p>Avant m\u00eame la parution de la synth\u00e8se th\u00e9orique de 1986, l&rsquo;acte de naissance clinique du paradigme connexionniste moderne s&rsquo;est incarn\u00e9 dans une publication fondatrice parue en 1981 dans la <em>Psychological Review<\/em> : le mod\u00e8le d&rsquo;<strong>activation interactive<\/strong> (<em>Interactive Activation Model<\/em> ou IAM) d\u00e9velopp\u00e9 par James L. McClelland et David E. Rumelhart. Ce travail pionnier visait \u00e0 \u00e9lucider l&rsquo;un des ph\u00e9nom\u00e8nes les plus robustes et les plus d\u00e9routants de la psychophysique de la vision humaine : l&rsquo;<strong>effet de sup\u00e9riorit\u00e9 du mot<\/strong> (<em>Word Superiority Effect<\/em>), d\u00e9couvert initialement par James McKeen Cattell \u00e0 la fin du XIXe si\u00e8cle et formalis\u00e9 avec pr\u00e9cision par Gerald Reicher en 1969.<\/p>\n<p>Ce ph\u00e9nom\u00e8ne empirique d\u00e9montre qu&rsquo;un sujet humain identifie avec une pr\u00e9cision et une rapidit\u00e9 significativement accrues une lettre cible (par exemple, la lettre \u00ab D \u00bb) lorsque celle-ci est incluse au sein d&rsquo;un mot orthographiquement valide et signifiant (tel que \u00ab WORD \u00bb) plut\u00f4t que lorsqu&rsquo;elle est pr\u00e9sent\u00e9e isol\u00e9ment ou ins\u00e9r\u00e9e dans une suite de consonnes d\u00e9pourvue de sens (telle que \u00ab OWRD \u00bb ou \u00ab XQDV \u00bb). Cette facilitation perceptive constituait une anomalie insoluble pour les mod\u00e8les ascendants strictement s\u00e9quentiels de l&rsquo;\u00e9poque (mod\u00e8les en \u00ab tuyau d&rsquo;orgue \u00bb), qui postulaient que l&rsquo;identification des parties \u00e9l\u00e9mentaires (les traits visuels puis les lettres) devait imp\u00e9rativement pr\u00e9c\u00e9der l&rsquo;acc\u00e8s au lexique global.<\/p>\n<p>Pour r\u00e9soudre cette \u00e9nigme, McClelland et Rumelhart con\u00e7urent un r\u00e9seau distribu\u00e9 stratifi\u00e9 en trois niveaux hi\u00e9rarchiques distincts :<\/p>\n<ul>\n<li><strong>Le niveau des traits visuels :<\/strong> D\u00e9tectant les segments orient\u00e9s (lignes verticales, horizontales, diagonales, arcs de cercle) composant chaque caract\u00e8re alphab\u00e9tique.<\/li>\n<li><strong>Le niveau des lettres :<\/strong> Repr\u00e9sentant chaque lettre de l&rsquo;alphabet dans des positions spatiales discr\u00e8tes bien d\u00e9finies.<\/li>\n<li><strong>Le niveau des mots :<\/strong> Regroupant les n\u0153uds lexicaux complets correspondant au vocabulaire appris de la langue.<\/li>\n<\/ul>\n<p>L&rsquo;innovation r\u00e9volutionnaire du mod\u00e8le r\u00e9sidait dans l&rsquo;instauration de boucles bidirectionnelles permanentes. Non seulement l&rsquo;activation se propageait du bas vers le haut (<em>bottom-up<\/em>, des traits vers les lettres et des lettres vers les mots), mais elle redescendait simultan\u00e9ment du haut vers le bas (<strong>top-down feedback<\/strong>), le niveau lexical r\u00e9injectant massivement de l&rsquo;\u00e9nergie excitatrice vers les lettres qui le composent. D\u00e8s lors, la lettre \u00ab D \u00bb dans \u00ab WORD \u00bb b\u00e9n\u00e9ficie d&rsquo;une double pouss\u00e9e d&rsquo;activation : la stimulation sensorielle issue de la r\u00e9tine et la r\u00e9sonance r\u00e9troactive issue du concept de mot pr\u00e9-activ\u00e9, lui permettant d&rsquo;atteindre le seuil de conscience bien avant une lettre isol\u00e9e en proie \u00e0 l&rsquo;entropie sensorielle.<\/p>\n<h3>5.2 Inhibition lat\u00e9rale et comp\u00e9tition intra-niveau<\/h3>\n<p>Le moteur computationnel du mod\u00e8le d&rsquo;activation interactive ne repose pas uniquement sur des propagations d&rsquo;\u00e9nergie excitatrices verticales, mais fait un usage intensif d&rsquo;un m\u00e9canisme neurobiologique fondamental : l&rsquo;<strong>inhibition lat\u00e9rale<\/strong> au sein de chaque strate hi\u00e9rarchique. Au sein du niveau des lettres comme au sein du niveau des mots, toutes les unit\u00e9s appartenant \u00e0 la m\u00eame strate sont unies par des liens synaptiques r\u00e9ciproques fortement inhibiteurs. Ce patron topologique impl\u00e9mente une comp\u00e9tition f\u00e9roce de type <em>winner-take-all<\/em> (\u00ab le gagnant rafle tout \u00bb) ou de s\u00e9lection par coalition dynamique.<\/p>\n<p>Lorsqu&rsquo;une stimulation textuelle ambigu\u00eb ou partiellement d\u00e9grad\u00e9e par du bruit visuel est soumise au r\u00e9seau \u2014 par exemple une lettre dont la barre verticale est alt\u00e9r\u00e9e, pouvant \u00e9voquer \u00e0 la fois un \u00ab R \u00bb ou un \u00ab P \u00bb \u2014, plusieurs candidats lexicaux mutuellement incompatibles sont initialement pr\u00e9-activ\u00e9s (par exemple \u00ab PEAT \u00bb, \u00ab READ \u00bb, \u00ab BEAT \u00bb). Au fur et \u00e0 mesure des it\u00e9rations temporelles discr\u00e8tes, le syst\u00e8me s&rsquo;engage dans un processus de <strong>relaxation de contraintes<\/strong>. Les n\u0153uds de mots qui re\u00e7oivent le soutien convergent le plus solide de la part des traits visuels ascendants commencent \u00e0 dominer l&rsquo;ar\u00e8ne lexicale. En montant en activation, ces n\u0153uds dominants d\u00e9chargent un d\u00e9luge d&rsquo;inhibition lat\u00e9rale sur leurs comp\u00e9titeurs imm\u00e9diats, \u00e9touffant progressivement leur signal dans le bruit de fond.<\/p>\n<p>Ce processus dynamique de polarisation comp\u00e9titive permet au r\u00e9seau d&rsquo;\u00e9vacuer toute incertitude avec une vitesse foudroyante. L&rsquo;unit\u00e9 lexicale la plus coh\u00e9rente sur le plan contextuel et sensoriel triomphe en contraignant les unit\u00e9s rivales au silence absolu. Le mod\u00e8le de McClelland et Rumelhart reproduisait avec une pr\u00e9cision math\u00e9matique troublante les courbes de distribution des temps de r\u00e9action observ\u00e9es chez les sujets humains lors de protocoles tachistoscopiques de d\u00e9cision lexicale ou de d\u00e9tection sous masquage visuel. Il a d\u00e9montr\u00e9 que l&rsquo;inhibition n&rsquo;est pas un simple d\u00e9chet m\u00e9tabolique du cerveau, mais l&rsquo;instrument computationnel par excellence de la focalisation attentionnelle et de la d\u00e9sambigu\u00efsation perceptive.<\/p>\n<h3>5.3 Cons\u00e9quences pour la psychologie cognitive de la lecture<\/h3>\n<p>L&rsquo;introduction du mod\u00e8le d&rsquo;activation interactive a boulevers\u00e9 en profondeur l&rsquo;\u00e9difice th\u00e9orique de la psycholinguistique cognitive en sonnant le glas des mod\u00e8les s\u00e9quentiels rigides en \u00ab bo\u00eetes et fl\u00e8ches \u00bb qui saturaient les manuels depuis les ann\u00e9es 1960. Ces sch\u00e9mas s\u00e9quentiels s\u00e9paraient arbitrairement la reconnaissance des formes, l&rsquo;analyse orthographique, l&rsquo;acc\u00e8s au lexique et la compr\u00e9hension s\u00e9mantique en \u00e9tapes temporelles herm\u00e9tiques et \u00e9tanches, interdisant toute interf\u00e9rence des strates cognitives sup\u00e9rieures sur les premiers stades du traitement sensoriel.<\/p>\n<p>Le mod\u00e8le IAM a prouv\u00e9 de mani\u00e8re p\u00e9remptoire que la perception humaine est fondamentalement un <strong>processus transactionnel et r\u00e9sonant<\/strong>. Il n&rsquo;existe pas de fronti\u00e8re chronologique nette entre \u00ab voir \u00bb et \u00ab interpr\u00e9ter \u00bb. Les connaissances d&rsquo;ordre sup\u00e9rieur du lecteur \u2014 ses attentes contextuelles, son capital lexical, sa familiarit\u00e9 orthographique \u2014 modulent et sculptent en temps r\u00e9el la prise d&rsquo;information r\u00e9tinienne d\u00e8s les premi\u00e8res millisecondes d&rsquo;exposition au stimulus visuel. Le cerveau n&rsquo;attend pas d&rsquo;avoir exhaustivement d\u00e9compos\u00e9 chaque pixel ou chaque trait typographique d&rsquo;une lettre pour formuler une hypoth\u00e8se lexicale ; il fonctionne par anticipation probabiliste et correction d&rsquo;erreur interactive.<\/p>\n<p>Ce basculement \u00e9pist\u00e9mologique a pos\u00e9 les fondations conceptuelles et computationnelles sur lesquelles se sont \u00e9difi\u00e9es toutes les approches contemporaines de la lecture experte et des pathologies associ\u00e9es. Quelques ann\u00e9es plus tard, David Plaut, Mark Seidenberg, James McClelland et Karalyn Patterson \u00e9tendront ces principes fondamentaux pour concevoir le mod\u00e8le connexionniste \u00e0 double triangulation (orthographe-phonologie-s\u00e9mantique), capable de simuler aussi bien la lecture \u00e0 voix haute fluide que les dissociations cliniques subtiles observ\u00e9es dans les dyslexies acquises (dyslexie de surface et dyslexie phonologique). Le dogme du module herm\u00e9tique fodorien appliqu\u00e9 au langage venait de subir son premier revers exp\u00e9rimental irr\u00e9futable.<\/p>\n<h2>6. L&rsquo;acquisition du langage et le d\u00e9bat sur la r\u00e9gularit\u00e9 grammaticale<\/h2>\n<h3>6.1 Le mod\u00e8le d&rsquo;apprentissage du pass\u00e9 des verbes anglais (1986)<\/h3>\n<p>En 1986, dans un chapitre qui allait devenir l&rsquo;un des plus comment\u00e9s et contest\u00e9s de toute l&rsquo;histoire de la linguistique cognitive, David Rumelhart et James McClelland ont \u00e9tendu l&#8217;empire du connexionnisme \u00e0 ce qui \u00e9tait jusqu&rsquo;alors consid\u00e9r\u00e9 comme le pr\u00e9 carr\u00e9 inexpugnable de la grammaire g\u00e9n\u00e9rative chomskienne : l&rsquo;acquisition et la ma\u00eetrise de la morphologie flexionnelle. Ils con\u00e7urent un mod\u00e8le de r\u00e9seau de neurones artificiels destin\u00e9 \u00e0 apprendre la conjugaison du pr\u00e9t\u00e9rit (le pass\u00e9 simple) des verbes de la langue anglaise.<\/p>\n<p>La langue anglaise offrait un terrain d&rsquo;exp\u00e9rimentation paradigmatique car elle pr\u00e9sente une dualit\u00e9 structurelle frappante. D&rsquo;une part, elle comporte une r\u00e8gle d&rsquo;application g\u00e9n\u00e9rale, massivement pr\u00e9pond\u00e9rante, qui consiste \u00e0 ajouter le suffixe phonologique \u00ab -ed \u00bb \u00e0 la racine du verbe pour former son pass\u00e9 r\u00e9gulier (par exemple <em>look\/looked<\/em>, <em>talk\/talked<\/em>). D&rsquo;autre part, elle h\u00e9berge un corpus r\u00e9siduel de plusieurs centaines de verbes hautement fr\u00e9quents dits \u00ab irr\u00e9guliers \u00bb, dont les modifications flexionnelles d\u00e9fient la r\u00e8gle par suffixation pour emprunter des formes idiosyncratiques ou des alternances vocaliques complexes (par exemple <em>go\/went<\/em>, <em>sing\/sang<\/em>, <em>take\/took<\/em>, <em>hit\/hit<\/em>). Pour le nativisme noam-chomskien dominant, cette dichotomie exigeait obligatoirement la coexistence chez l&rsquo;enfant d&rsquo;une part d&rsquo;un stock de m\u00e9moire associative lexicale brute (r\u00e9serv\u00e9 aux exceptions), et d&rsquo;autre part d&rsquo;un puissant moteur computationnel inn\u00e9 d\u00e9di\u00e9 \u00e0 la d\u00e9duction et \u00e0 l&rsquo;application m\u00e9canique de <strong>r\u00e8gles syntaxico-morphologiques formelles<\/strong>.<\/p>\n<p>Le tour de force th\u00e9orique de Rumelhart et McClelland consista \u00e0 b\u00e2tir un syst\u00e8me sans la moindre ligne de code symbolique, totalement vierge de toute r\u00e8gle grammaticale explicite, et \u00e0 le confronter \u00e0 ce probl\u00e8me morphologique. Pour contourner les limites des repr\u00e9sentations textuelles, ils invent\u00e8rent un codage phonologique distribu\u00e9 novateur fond\u00e9 sur des ensembles de triplets de traits phon\u00e9tiques adjacents, appel\u00e9s <strong>Wickelfeatures<\/strong> (du nom du psychologue Wayne Wickelgren). Chaque mot verbal \u00e9tait d\u00e9compos\u00e9 en un spectre de micro-traits phonologiques continus (caract\u00e9ristiques de voisement, de point d&rsquo;articulation, de nasalit\u00e9) caract\u00e9risant des triplets de phon\u00e8mes (ou <em>Wickelphones<\/em>). Le r\u00e9seau consistait en un mod\u00e8le \u00e0 couches d&rsquo;unit\u00e9s interconnect\u00e9es reliant le patron phonologique du verbe racine \u00e0 son patron phonologique au pass\u00e9. Apr\u00e8s chaque tentative de production, le syst\u00e8me modifiait ses poids synaptiques au moyen de la r\u00e8gle d&rsquo;apprentissage par correction d&rsquo;erreur.<\/p>\n<h3>6.2 L&rsquo;\u00e9mergence de la courbe d&rsquo;apprentissage en U<\/h3>\n<p>Le r\u00e9sultat de cette simulation informatique d\u00e9passa les esp\u00e9rances les plus audacieuses des th\u00e9oriciens du groupe PDP. Non seulement le r\u00e9seau parvint \u00e0 apprendre avec une exactitude quasi parfaite la conjugaison des verbes r\u00e9guliers tout en conservant en m\u00e9moire les flexions hautement irr\u00e9guli\u00e8res, mais il reproduisit spontan\u00e9ment, sans aucun param\u00e9trage ad hoc, l&rsquo;une des trajectoires d\u00e9veloppementales les plus \u00e9nigmatiques de la psychologie de l&rsquo;enfant : la <strong>courbe d&rsquo;apprentissage en U<\/strong> (<em>U-shaped learning curve<\/em>).<\/p>\n<p>Dans les premi\u00e8res \u00e9tapes de son ontogen\u00e8se linguistique, le jeune enfant manipule un lexique tr\u00e8s restreint compos\u00e9 des verbes les plus usuels de la langue, qui sont statistiquement presque tous irr\u00e9guliers (<em>came<\/em>, <em>went<\/em>, <em>saw<\/em>). \u00c0 ce stade (la premi\u00e8re branche du U), l&rsquo;enfant conjugue ces quelques verbes avec une pr\u00e9cision impeccable, proc\u00e9dant par simple r\u00e9plication mn\u00e9sique directe. Puis, aux alentours de 3 \u00e0 4 ans, son vocabulaire s&rsquo;enrichit brutalement d&rsquo;une multitude de verbes r\u00e9guliers. Survient alors une phase d\u00e9veloppementale paradoxale et fascinante (le creux de la courbe en U) : la performance linguistique de l&rsquo;enfant semble soudainement r\u00e9gresser. Il commence \u00e0 produire massivement des fautes grossi\u00e8res de <strong>surg\u00e9n\u00e9ralisation<\/strong> (<em>overregularization errors<\/em>), appliquant la marque \u00ab -ed \u00bb aux verbes irr\u00e9guliers qu&rsquo;il ma\u00eetrisait pourtant auparavant avec succ\u00e8s (produisant des formes erron\u00e9es comme <em>comed<\/em> au lieu de <em>came<\/em> ou <em>goed<\/em> au lieu de <em>went<\/em>). Ce n&rsquo;est que plus tard (la seconde branche du U) que l&rsquo;enfant r\u00e9int\u00e8gre l&rsquo;usage correct des formes irr\u00e9guli\u00e8res tout en maintenant la r\u00e8gle g\u00e9n\u00e9rale.<\/p>\n<p>Le r\u00e9seau de Rumelhart et McClelland a fid\u00e8lement travers\u00e9 ces trois stades \u00e9volutifs successifs. Durant sa phase initiale d&rsquo;entra\u00eenement, nourri par un petit ensemble de stimuli fr\u00e9quents, il apprit \u00e0 reproduire les formes sans faute. Mais d\u00e8s que le volume d&rsquo;entra\u00eenement augmenta et fut satur\u00e9 de verbes r\u00e9guliers refl\u00e9tant l&rsquo;exposition linguistique r\u00e9elle, le r\u00e9seau subit une crise structurelle : l&rsquo;attracteur gravitationnel statistique de la r\u00e9gularit\u00e9 flexionnelle \u00e9crasa momentan\u00e9ment les configurations synaptiques locales, et le r\u00e9seau se mit \u00e0 son tour \u00e0 g\u00e9n\u00e9rer spontan\u00e9ment des formes surg\u00e9n\u00e9ralis\u00e9es non conformes. Puis, au fil d&rsquo;une exposition r\u00e9p\u00e9t\u00e9e, les micro-poids synaptiques s&rsquo;affin\u00e8rent pour sculpter des \u00eelots d&rsquo;exception topologiques sans effacer la tendance g\u00e9n\u00e9rale. Cette d\u00e9couverte d\u00e9montrait magistralement qu&rsquo;un comportement orient\u00e9 par une apparente r\u00e8gle formelle pouvait parfaitement \u00e9merger d&rsquo;un substrat sous-symbolique continu, sans que la r\u00e8gle n&rsquo;ait jamais \u00e9t\u00e9 formul\u00e9e \u00e0 l&rsquo;int\u00e9rieur du syst\u00e8me.<\/p>\n<h3>6.3 La violente controverse Pinker-Prince et les critiques nativistes<\/h3>\n<p>L&rsquo;onde de choc provoqu\u00e9e par l&rsquo;article de Rumelhart et McClelland suscita une r\u00e9plique imm\u00e9diate et d&rsquo;une agressivit\u00e9 doctrinale sans pr\u00e9c\u00e9dent de la part de l&rsquo;establishment cognitiviste chomskien. En 1988, le psycholinguiste <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/Steven_Pinker\">Steven Pinker<\/a> et le linguiste Alan Prince publi\u00e8rent dans la revue <em>Cognition<\/em> un br\u00fblot de plus de cent pages intitul\u00e9 <em>On language and connectionism: Analysis of a parallel distributed processing model of language acquisition<\/em>, vou\u00e9 \u00e0 la d\u00e9molition m\u00e9thodique du mod\u00e8le PDP.<\/p>\n<p>Pinker et Prince formul\u00e8rent une s\u00e9rie d&rsquo;objections techniques, linguistiques et conceptuelles d\u00e9vastatrices. En premier lieu, ils d\u00e9montr\u00e8rent les faiblesses structurelles des repr\u00e9sentations d&rsquo;entr\u00e9e fond\u00e9es sur les <em>Wickelfeatures<\/em> : ce syst\u00e8me de triplets aveugles s&rsquo;av\u00e9rait incapable de pr\u00e9server l&rsquo;ordre temporel des phon\u00e8mes dans des mots complexes, confondait des s\u00e9quences anagrammes et ne pouvait pas distinguer deux occurrences distinctes du m\u00eame phon\u00e8me au sein d&rsquo;un mot. De plus, ils point\u00e8rent du doigt des aberrations comportementales produites par le mod\u00e8le lors de la g\u00e9n\u00e9ralisation \u00e0 des verbes invent\u00e9s (les <em>wug tests<\/em> de Jean Berko) : l\u00e0 o\u00f9 un locuteur humain applique sans h\u00e9siter la r\u00e8gle suffixale \u00e0 un pseudo-mot comme \u00ab to spow \u00bb (donnant \u00ab spowed \u00bb), le r\u00e9seau connexionniste g\u00e9n\u00e9rait parfois des formes chim\u00e9riques absurdes dict\u00e9es par de faibles ressemblances phonologiques (comme \u00ab spow\/speth \u00bb ou \u00ab tourph\/turfed \u00bb).<\/p>\n<p>Sur le plan th\u00e9orique, Pinker utilisa cette pol\u00e9mique pour forger son c\u00e9l\u00e8bre <strong>mod\u00e8le \u00e0 double m\u00e9canisme<\/strong> (<em>dual-mechanism model<\/em>) ou de la double voie. Selon Pinker, l&rsquo;esprit humain ne peut pas \u00eatre r\u00e9duit \u00e0 un seul r\u00e9seau associatif homog\u00e8ne : il abrite imp\u00e9rativement deux syst\u00e8mes computationnels distincts, incarn\u00e9s dans des structures c\u00e9r\u00e9brales diff\u00e9renci\u00e9es. D&rsquo;un c\u00f4t\u00e9, une m\u00e9moire lexicale associative (dont les principes peuvent \u00eatre partiellement connexionnistes), charg\u00e9e d&#8217;emmagasiner les exceptions idiosyncratiques et les formes irr\u00e9guli\u00e8res ; de l&rsquo;autre c\u00f4t\u00e9, un module symbolique computationnel autonome, universel et g\u00e9n\u00e9ratif, d\u00e9di\u00e9 au calcul imp\u00e9ratif de r\u00e8gles abstraites applicables sans restriction \u00e0 n&rsquo;importe quel \u00e9l\u00e9ment grammatical in\u00e9dit. Cette controverse titanesque a cliv\u00e9 la communaut\u00e9 des sciences du langage pendant plus de deux d\u00e9cennies, incitant les successeurs de McClelland \u00e0 concevoir des architectures r\u00e9currentes beaucoup plus sophistiqu\u00e9es pour r\u00e9futer point par point le nativisme linguistique rigide.<\/p>\n<h2>7. La m\u00e9moire humaine sous le prisme connexionniste<\/h2>\n<h3>7.1 La m\u00e9moire adressable par le contenu (Content-Addressable Memory)<\/h3>\n<p>La conception classique de la m\u00e9moire informatique, h\u00e9rit\u00e9e des travaux de John von Neumann, repose sur le principe de l&rsquo;adressage spatial : pour extraire une donn\u00e9e m\u00e9moris\u00e9e, l&rsquo;unit\u00e9 centrale de calcul doit imp\u00e9rativement conna\u00eetre au pr\u00e9alable son index ou son adresse num\u00e9rique absolue au sein de la m\u00e9moire vive (RAM). La m\u00e9moire humaine, quant \u00e0 elle, ne fonctionne manifestement pas selon cette logique d&rsquo;indexation arbitraire. Nous sommes quotidiennement capables de r\u00e9activer instantan\u00e9ment le souvenir foisonnant d&rsquo;un banquet familial ou d&rsquo;un voyage lointain \u00e0 partir d&rsquo;un fragment sensoriel infime : le parfum subtil d&rsquo;une fleur, les premi\u00e8res notes d&rsquo;une m\u00e9lodie oubli\u00e9e ou la silhouette fugitive d&rsquo;un passant aper\u00e7u dans la p\u00e9nombre.<\/p>\n<p>Les r\u00e9seaux PDP ont apport\u00e9 la formalisation computationnelle rigoureuse de cette dynamique biologique sous le concept de <strong>m\u00e9moire adressable par le contenu<\/strong> (<em>content-addressable memory<\/em>). Dans un syst\u00e8me connexionniste o\u00f9 les repr\u00e9sentations sont distribu\u00e9es sur un ensemble d&rsquo;unit\u00e9s r\u00e9currentes, le contenu m\u00eame du souvenir constitue son propre chemin d&rsquo;acc\u00e8s. Il n&rsquo;y a nul besoin d&rsquo;index externe. D\u00e8s lors qu&rsquo;une fraction minimale d&rsquo;un patron d&rsquo;attributs sensoriels familiers est projet\u00e9e sur une partie du r\u00e9seau, l&rsquo;\u00e9nergie d&rsquo;activation s&rsquo;\u00e9coule \u00e0 travers la matrice synaptique vers l&rsquo;ensemble des autres dimensions informationnelles corr\u00e9l\u00e9es durant les apprentissages pass\u00e9s.<\/p>\n<p>Ce m\u00e9canisme permet une restauration associative simultan\u00e9e et multidimensionnelle : la r\u00e9activation visuelle d&rsquo;un visage convoque instantan\u00e9ment le timbre de sa voix, le pr\u00e9nom qui lui est attach\u00e9, ses traits de caract\u00e8re dominants et le contexte affectif associ\u00e9 \u00e0 la rencontre. De surcro\u00eet, le connexionnisme fournit une interpr\u00e9tation naturelle et d&rsquo;une clart\u00e9 lumineuse du ph\u00e9nom\u00e8ne psychologique majeur de l&rsquo;<strong>effet d&rsquo;amorce<\/strong> (<em>priming effect<\/em>). Dans le cadre PDP, amorcer cognitivement un sujet par un concept (par exemple lui faire entendre le mot \u00ab h\u00f4pital \u00bb) ne consiste pas \u00e0 d\u00e9placer un pointeur abstrait dans un lexique symbolique ; cela correspond physiquement \u00e0 polariser et \u00e0 placer en \u00e9tat de pr\u00e9-activation r\u00e9siduelle le sous-espace vectoriel partag\u00e9 par des concepts s\u00e9mantiquement voisins (tels que \u00ab m\u00e9decin \u00bb, \u00ab infirmi\u00e8re \u00bb ou \u00ab maladie \u00bb), diminuant drastiquement le seuil \u00e9nerg\u00e9tique requis pour leur d\u00e9clenchement perceptif subs\u00e9quent.<\/p>\n<h3>7.2 Emergence des prototypes et cat\u00e9gorisation s\u00e9mantique<\/h3>\n<p>L&rsquo;un des triomphes intellectuels les plus notables de la mod\u00e9lisation PDP concerne la r\u00e9solution des paradoxes li\u00e9s \u00e0 la cat\u00e9gorisation s\u00e9mantique et \u00e0 la th\u00e9orie des concepts. Tout au long de l&rsquo;histoire de la philosophie occidentale et de la psychologie classique, l&rsquo;appartenance d&rsquo;un objet \u00e0 une cat\u00e9gorie donn\u00e9e (comme \u00ab mammif\u00e8re \u00bb, \u00ab jeu \u00bb ou \u00ab oiseau \u00bb) \u00e9tait d\u00e9finie selon la perspective aristot\u00e9licienne en termes de conditions n\u00e9cessaires et suffisantes. Or, les travaux empiriques men\u00e9s dans les ann\u00e9es 1970 par Eleanor Rosch sur la th\u00e9orie du <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/Th%C3%A9orie_du_prototype\">prototype<\/a>, ainsi que les r\u00e9flexions du philosophe Ludwig Wittgenstein sur les concepts \u00e0 \u00ab ressemblances de famille \u00bb, avaient pulv\u00e9ris\u00e9 cette vision binaire en d\u00e9montrant que la m\u00e9moire humaine manipule des cat\u00e9gories aux fronti\u00e8res \u00e9minemment floues, organis\u00e9es autour de prototypes centraux et d&rsquo;exemplaires p\u00e9riph\u00e9riques d\u00e9grad\u00e9s.<\/p>\n<p>Le probl\u00e8me qui se posait alors aux psychologues cognitivistes \u00e9tait le suivant : comment notre esprit extrait-il le prototype abstrait d&rsquo;un concept s&rsquo;il ne rencontre jamais dans le monde r\u00e9el que des occurrences individuelles variables, uniques et imparfaites ? L&rsquo;ordinateur classique devait soit stocker la liste exhaustive de tous les exemplaires jamais rencontr\u00e9s (ce qui entra\u00eene une explosion combinatoire des m\u00e9moires), soit se voir injecter par avance une formule math\u00e9matique explicite de la moyenne cat\u00e9gorielle. Rumelhart et McClelland ont d\u00e9montr\u00e9 qu&rsquo;un r\u00e9seau PDP extrait spontan\u00e9ment et implicitement des prototypes statistiques sans jamais les stocker physiquement en tant que sp\u00e9cimens individuels.<\/p>\n<p>Lorsqu&rsquo;un r\u00e9seau connexionniste est entra\u00een\u00e9 sur un ensemble de configurations visuelles ou s\u00e9mantiques qui constituent des variations bruit\u00e9es autour d&rsquo;une forme canonique centrale (jamais pr\u00e9sent\u00e9e au r\u00e9seau), les micro-ajustements des poids synaptiques encodent silencieusement les <strong>corr\u00e9lations crois\u00e9es d&rsquo;attributs<\/strong>. Au fil des cycles d&rsquo;apprentissage, le paysage \u00e9nerg\u00e9tique du r\u00e9seau sculpte naturellement un puits de potentiel attracteur dont le fond co\u00efncide rigoureusement avec le prototype id\u00e9al th\u00e9orique. Lorsqu&rsquo;on pr\u00e9sente ult\u00e9rieurement au r\u00e9seau ce prototype pur qu&rsquo;il n&rsquo;a pourtant jamais observ\u00e9 de sa vie artificielle, le syst\u00e8me l&rsquo;identifie avec un niveau d&rsquo;activation et une vitesse de convergence significativement plus \u00e9lev\u00e9s que pour les exemplaires d&rsquo;entra\u00eenement r\u00e9els. Cette capacit\u00e9 d&rsquo;induction s\u00e9mantique non supervis\u00e9e fournit la premi\u00e8re base m\u00e9caniste solide \u00e0 l&rsquo;explication de l&rsquo;apprentissage des concepts chez le jeune enfant.<\/p>\n<h3>7.3 Simulation des l\u00e9sions c\u00e9r\u00e9brales et neuropsychologie cognitive<\/h3>\n<p>D\u00e8s la fin des ann\u00e9es 1980, le cadre PDP s&rsquo;est impos\u00e9 comme un outil r\u00e9volutionnaire pour la neurologie clinique et la <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/Neuropsychologie\">neuropsychologie cognitive<\/a> \u00e0 travers la pratique pionni\u00e8re de la \u00ab neuropsychologie computationnelle \u00bb ou mod\u00e9lisation de l\u00e9sions artificielles (<em>artificial lesion modeling<\/em>). Jusqu&rsquo;alors, la neuropsychologie humaine d\u00e9duisait l&rsquo;architecture de l&rsquo;esprit de l&rsquo;observation des corr\u00e9lations clinico-anatomiques chez les patients c\u00e9r\u00e9brol\u00e9s\u00e9s, interpr\u00e9tant souvent de mani\u00e8re excessive chaque d\u00e9ficit sp\u00e9cifique comme la preuve de l&rsquo;existence d&rsquo;une \u00ab bo\u00eete \u00bb ou d&rsquo;un sous-programme c\u00e9r\u00e9bral rigoureusement \u00e9tanche qui aurait \u00e9t\u00e9 physiquement d\u00e9truit.<\/p>\n<p>Rumelhart, McClelland, et plus particuli\u00e8rement des chercheurs comme David Plaut, Geoffrey Hinton et Tim Shallice, ont exp\u00e9riment\u00e9 des techniques de d\u00e9gradation syst\u00e9matique sur leurs r\u00e9seaux simul\u00e9s : sectionnement al\u00e9atoire d&rsquo;une proportion croissante de connexions synaptiques (d\u00e9saff\u00e9rentation), injection de bruit gaussien sur les \u00e9tats d&rsquo;activation des unit\u00e9s cach\u00e9es, ou neutralisation s\u00e9lective de groupes de neurones. Les r\u00e9sultats ont stup\u00e9fi\u00e9 le monde m\u00e9dical : des r\u00e9seaux connexionnistes uniformes, form\u00e9s d&rsquo;un seul bloc sans cloisons modulaires internes herm\u00e9tiques, ont manifest\u00e9 apr\u00e8s d\u00e9gradation diffuse des syndromes cliniques d&rsquo;une haute sp\u00e9cificit\u00e9, reproduisant fid\u00e8lement les pathologies observ\u00e9es chez les victimes d&rsquo;accidents vasculaires c\u00e9r\u00e9braux ou de d\u00e9mences neurod\u00e9g\u00e9n\u00e9ratives.<\/p>\n<p>\u00c0 titre d&rsquo;illustration \u00e9clatante, les mod\u00e8les de m\u00e9moire s\u00e9mantique l\u00e9s\u00e9s ont reproduit de mani\u00e8re pr\u00e9cise la trajectoire de d\u00e9gradation observ\u00e9e dans la <strong>d\u00e9mence s\u00e9mantique<\/strong> (associ\u00e9e aux atrophies du lobe temporal ant\u00e9rieur). Lorsque les poids du r\u00e9seau sont graduellement \u00e9rod\u00e9s, le syst\u00e8me ne perd pas arbitrairement des noms d&rsquo;animaux au hasard ; il perd d&rsquo;abord les attributs distinctifs fins hautement sp\u00e9cifiques (l&rsquo;autruche est priv\u00e9e de sa propri\u00e9t\u00e9 de \u00ab ne vole pas \u00bb ou le z\u00e8bre perd ses \u00ab rayures \u00bb), les assimilant \u00e0 des formes prototypiques banales (tous les animaux sont trait\u00e9s comme des quadrup\u00e8des g\u00e9n\u00e9riques), avant que la cat\u00e9gorie s&rsquo;effondre en un label d&rsquo;une g\u00e9n\u00e9ralit\u00e9 d\u00e9mesur\u00e9e (\u00ab une chose \u00bb ou \u00ab un animal \u00bb). Mieux encore, la simulation num\u00e9rique a d\u00e9montr\u00e9 qu&rsquo;une <strong>double dissociation<\/strong> fonctionnelle classique \u2014 longtemps consid\u00e9r\u00e9e comme la preuve irr\u00e9futable de l&rsquo;existence de deux modules anatomiques ind\u00e9pendants \u2014 pouvait parfaitement \u00e9merger au sein d&rsquo;un syst\u00e8me hautement interactif et distribu\u00e9 en fonction de la complexit\u00e9 topologique diff\u00e9rentielle de ses espaces d&rsquo;\u00e9tats internes.<\/p>\n<h2>8. Le d\u00e9bat symbolique versus sous-symbolique : Fodor, Pylyshyn et Smolensky<\/h2>\n<h3>8.1 L&rsquo;attaque de Jerry Fodor et Zenon Pylyshyn (1988)<\/h3>\n<p>L&rsquo;essor fulgurant du traitement distribu\u00e9 en parall\u00e8le mena\u00e7ait d&rsquo;obsolescence l&rsquo;ensemble de l&rsquo;\u00e9difice de la philosophie de l&rsquo;esprit computationnelle et du mentalisme symbolique. La r\u00e9action institutionnelle ne tarda pas. Elle prit la forme d&rsquo;un manifeste critique majeur, r\u00e9dig\u00e9 en 1988 par deux des figures les plus \u00e9minentes de l&rsquo;\u00e9cole orthodoxe : les philosophes et cognitivistes <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/Jerry_Fodor\">Jerry Fodor<\/a> et Zenon Pylyshyn. Leur article retentissant, paru dans un num\u00e9ro sp\u00e9cial de la revue <em>Cognition<\/em> sous le titre <em>Connectionism and cognitive architecture: A critical analysis<\/em>, constitue sans conteste le r\u00e9quisitoire le plus f\u00e9roce et le plus argument\u00e9 jamais dress\u00e9 contre le paradigme PDP.<\/p>\n<p>L&rsquo;argumentaire de Fodor et Pylyshyn est articul\u00e9 autour de trois propri\u00e9t\u00e9s fondamentales et non n\u00e9gociables de la pens\u00e9e humaine :<\/p>\n<ul>\n<li><strong>La productivit\u00e9 :<\/strong> La capacit\u00e9 de l&rsquo;esprit \u00e0 g\u00e9n\u00e9rer et \u00e0 comprendre une infinit\u00e9 potentielle de pens\u00e9es, de phrases et de repr\u00e9sentations in\u00e9dites \u00e0 partir d&rsquo;un ensemble fini d&rsquo;\u00e9l\u00e9ments de base.<\/li>\n<li><strong>La syst\u00e9maticit\u00e9 :<\/strong> Le constat empirique que la capacit\u00e9 cognitive de formuler ou de concevoir certaines pens\u00e9es est intrins\u00e8quement solidaire de la capacit\u00e9 d&rsquo;en formuler d&rsquo;autres structurellement corr\u00e9l\u00e9es (par exemple, quiconque est capable de comprendre la proposition \u00ab Jean aime Marie \u00bb poss\u00e8de ipso facto l&rsquo;appareillage logique pour comprendre \u00ab Marie aime Jean \u00bb).<\/li>\n<li><strong>La compositionnalit\u00e9 :<\/strong> Le principe selon lequel la signification d&rsquo;une repr\u00e9sentation complexe est strictement fonction de la signification de ses constituants syntaxiques atomiques et de leurs r\u00e8gles de combinaison formelle.<\/li>\n<\/ul>\n<p>Fodor et Pylyshyn en d\u00e9duisent un dilemme impitoyable qu&rsquo;ils ass\u00e8nent aux promoteurs du connexionnisme. Selon eux, l&rsquo;esprit humain ne peut manifester cette syst\u00e9maticit\u00e9 universelle que s&rsquo;il repose sur un <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/Langage_de_la_pens%C3%A9e\">langage de la pens\u00e9e<\/a> (le <em>mentalais<\/em>) dot\u00e9 d&rsquo;une syntaxe combinatoire et de structures symboliques arborescentes concat\u00e9natives. D\u00e8s lors, deux branches de l&rsquo;alternative s&rsquo;imposent : soit les r\u00e9seaux de neurones distribu\u00e9s sont incapables d&rsquo;exhiber une r\u00e9elle syst\u00e9maticit\u00e9 combinatoire et compositionnelle, et dans ce cas le connexionnisme est tout simplement scientifiquement faux en tant que th\u00e9orie de l&rsquo;architecture cognitive ; soit les r\u00e9seaux connexionnistes parviennent \u00e0 \u00e9muler ces propri\u00e9t\u00e9s par des m\u00e9canismes d&rsquo;approximation vectorielle, mais dans ce cas, le connexionnisme ne constitue rien de plus qu&rsquo;une triviale th\u00e9orie de bas niveau d&rsquo;<strong>impl\u00e9mentation physique<\/strong> du mat\u00e9riel c\u00e9r\u00e9bral (au m\u00eame titre que l&rsquo;\u00e9tude du silicium pour les microprocesseurs), laissant intacte la souverainet\u00e9 explicative absolue du mod\u00e8le symbolique de niveau sup\u00e9rieur.<\/p>\n<h3>8.2 La r\u00e9plique sous-symbolique de Paul Smolensky<\/h3>\n<p>Face au dilemme de Fodor et Pylyshyn, la riposte philosophique et formelle la plus profonde fut orchestr\u00e9e par <a rel=\"noopener noreferrer\" href=\"https:\/\/en.wikipedia.org\/wiki\/Paul_Smolensky\">Paul Smolensky<\/a>, math\u00e9maticien, philosophe et membre \u00e9minent du groupe PDP. Dans son article magistral paru en 1988 dans la revue <em>Behavioral and Brain Sciences<\/em>, intitul\u00e9 <em>On the proper treatment of connectionism<\/em> (PTC), Smolensky refuse cat\u00e9goriquement d&rsquo;enfermer le d\u00e9bat dans le pi\u00e8ge de la r\u00e9duction \u00e0 une simple impl\u00e9mentation et pose les prol\u00e9gom\u00e8nes du <strong>paradigme sous-symbolique<\/strong>.<\/p>\n<p>Smolensky soutient que l&rsquo;architecture cognitive humaine ne se situe ni au niveau symbolique abstrait des propositions de Fodor, ni au niveau neurobiologique brut des canaux ioniques et des v\u00e9sicules synaptiques d\u00e9crit par les neurosciences cellulaires. Le connexionnisme occupe un niveau de r\u00e9alit\u00e9 scientifique autonome et interm\u00e9diaire : le <strong>niveau sous-symbolique continu<\/strong>. Les entit\u00e9s qui y sont manipul\u00e9es ne sont pas des symboles dot\u00e9s d&rsquo;une signification conceptuelle globale, mais des grandeurs continues (activations et poids) qui encodent des micro-traits constitutifs de la s\u00e9mantique. Les lois qui gouvernent ce niveau ne sont pas des r\u00e8gles syntaxiques d&rsquo;inf\u00e9rence logique, mais des lois d&rsquo;\u00e9volution physique r\u00e9gies par des \u00e9quations diff\u00e9rentielles non lin\u00e9aires et des fonctions d&rsquo;\u00e9nergie math\u00e9matique (Smolensky formalisera notamment ce principe \u00e0 travers son mod\u00e8le de l&rsquo;<strong>harmonie computationnelle<\/strong>).<\/p>\n<p>Pour contrer le reproche d&rsquo;inaptitude \u00e0 la syst\u00e9maticit\u00e9, Smolensky \u00e9labore une th\u00e9orie r\u00e9volutionnaire de la <strong>compositionnalit\u00e9 non concat\u00e9native<\/strong> au moyen du produit tensoriel vectoriel. Il d\u00e9montre avec brio que l&rsquo;on peut lier une variable de r\u00f4le structural (par exemple le r\u00f4le d&rsquo;agent) et une valeur d&rsquo;attribut s\u00e9mantique (par exemple le concept de \u00ab Jean \u00bb) au moyen d&rsquo;op\u00e9rations d&rsquo;alg\u00e8bre multilin\u00e9aire dans des espaces vectoriels de haute dimension, sans jamais concat\u00e9ner m\u00e9caniquement des cha\u00eenes de caract\u00e8res typographiques discr\u00e8tes. La repr\u00e9sentation r\u00e9sultante est totalement distribu\u00e9e et unifi\u00e9e, tout en permettant des op\u00e9rations analytiques de d\u00e9liaison fonctionnelle. L&rsquo;esprit humain, d\u00e9montre Smolensky, n&rsquo;est pas un engin logique formel commettant des erreurs occasionnelles par distraction ; il est un <strong>processeur intuitif probabiliste et statistique<\/strong> con\u00e7u pour op\u00e9rer une maximisation d&rsquo;harmonie sous des contraintes environnementales massives et imparfaites.<\/p>\n<h3>8.3 R\u00e9conciliation \u00e9pist\u00e9mologique et niveaux d&rsquo;analyse de Marr<\/h3>\n<p>Avec le recul \u00e9pist\u00e9mologique, la querelle historique entre partisans du symbolisme classique et d\u00e9fenseurs du connexionnisme sous-symbolique a pu \u00eatre r\u00e9\u00e9valu\u00e9e \u00e0 l&rsquo;aune de la c\u00e9l\u00e8bre typologie tripartite formalis\u00e9e par le neuroscientifique visionnaire <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/David_Marr_(neuroscientifique)\">David Marr<\/a> dans son ouvrage posthume <em>Vision<\/em> (1982). Marr postulait que la compr\u00e9hension exhaustive d&rsquo;un syst\u00e8me de traitement d&rsquo;information biologique ou artificiel r\u00e9clame imp\u00e9rativement son analyse conjointe selon trois niveaux distincts :<\/p>\n<ul>\n<li><strong>Le niveau computationnel :<\/strong> Qui d\u00e9finit la nature de la t\u00e2che accomplie par le syst\u00e8me, sa logique formelle, ses objectifs et les contraintes \u00e9cologiques de l&rsquo;environnement (le <em>quoi<\/em> et le <em>pourquoi<\/em>).<\/li>\n<li><strong>Le niveau algorithmique et repr\u00e9sentationnel :<\/strong> Qui sp\u00e9cifie les repr\u00e9sentations d&rsquo;entr\u00e9e et de sortie ainsi que les s\u00e9quences d&rsquo;op\u00e9rations math\u00e9matiques et d&rsquo;algorithmes d\u00e9ploy\u00e9s pour effectuer la transformation de l&rsquo;information (le <em>comment<\/em> formel).<\/li>\n<li><strong>Le niveau physique ou de l&rsquo;impl\u00e9mentation :<\/strong> Qui d\u00e9taille la r\u00e9alisation mat\u00e9rielle, biologique ou \u00e9lectronique, supportant physiquement l&rsquo;algorithme (les circuits de neurones ou les puces de silicium).<\/li>\n<\/ul>\n<p>Le tort m\u00e9thodologique de Jerry Fodor fut d&rsquo;assimiler abusivement le mod\u00e8le PDP \u00e0 une simple description du niveau d&rsquo;impl\u00e9mentation physique (le troisi\u00e8me niveau de Marr). En r\u00e9alit\u00e9, le traitement distribu\u00e9 en parall\u00e8le se situe de plain-pied au <strong>niveau algorithmique<\/strong>. Il propose une rupture fondamentale non pas sur la nature de la mati\u00e8re c\u00e9r\u00e9brale qui calcule, mais sur la forme m\u00eame des algorithmes de calcul : l\u00e0 o\u00f9 le computationnalisme classique imposait des algorithmes de manipulation de listes de symboles d\u00e9riv\u00e9s de la logique formelle de Frege et Russell, le connexionnisme substitue des algorithmes d&rsquo;optimisation continue, de projection matricielle et de descente de gradient issus de l&rsquo;analyse math\u00e9matique et de la physique statistique.<\/p>\n<p>Cette clarification a favoris\u00e9 l&rsquo;\u00e9mergence progressive de synth\u00e8ses th\u00e9oriques f\u00e9condes au cours des d\u00e9cennies 1990 et 2000. De nombreux chercheurs, \u00e0 l&rsquo;instar de Ron Sun avec le syst\u00e8me CLARION ou de John Anderson avec les it\u00e9rations r\u00e9centes de l&rsquo;architecture cognitive ACT-R, ont d\u00e9velopp\u00e9 des <strong>mod\u00e8les cognitifs hybrides<\/strong>. Ces cadres int\u00e8grent un \u00e9tage sous-symbolique distribu\u00e9, charg\u00e9 du traitement perceptif ultra-rapide, de l&rsquo;apprentissage implicite et des intuitions associatives, interconnect\u00e9 \u00e0 un \u00e9tage sup\u00e9rieur symbolique capable d&rsquo;ex\u00e9cuter des r\u00e8gles d\u00e9claratives explicites, du raisonnement logique conscient et de la planification s\u00e9quentielle \u00e0 long terme, consacrant la r\u00e9conciliation dialectique des deux paradigmes rivaux.<\/p>\n<h2>9. Les bases neurales et la plausibilit\u00e9 biologique du connexionnisme<\/h2>\n<h3>9.1 Points de convergence avec la neurobiologie fonctionnelle<\/h3>\n<p>D\u00e8s sa formulation originelle, le projet de Rumelhart et McClelland tirait sa s\u00e9duction intellectuelle de sa proximit\u00e9 intime avec les d\u00e9couvertes fondamentales des neurosciences modernes. Alors que le mod\u00e8le symbolique de Turing-Von Neumann s&rsquo;\u00e9tait d\u00e9lib\u00e9r\u00e9ment extrait de toute r\u00e9alit\u00e9 biologique au nom d&rsquo;un fonctionnalisme d\u00e9sincarn\u00e9, le paradigme PDP s&rsquo;est d\u00e9lib\u00e9r\u00e9ment astreint \u00e0 une <strong>plausibilit\u00e9 neurobiologique de principe<\/strong>, mod\u00e9lisant les fonctions mentales d&rsquo;une mani\u00e8re qui s&rsquo;harmonise avec l&rsquo;architecture micro-structurelle du cortex c\u00e9r\u00e9bral.<\/p>\n<p>Les convergences structurales entre le mod\u00e8le th\u00e9orique PDP et la biologie cellulaire du syst\u00e8me nerveux central sont nombreuses et manifestes :<\/p>\n<ul>\n<li><strong>Le parall\u00e9lisme massif :<\/strong> Le n\u00e9ocortex humain h\u00e9berge environ 86 milliards de neurones connect\u00e9s par pr\u00e8s de 100 000 milliards de synapses, op\u00e9rant tous simultan\u00e9ment. Le calcul distribu\u00e9 refl\u00e8te cette r\u00e9alit\u00e9 biologique o\u00f9 aucun processeur central n&rsquo;arbitre les op\u00e9rations.<\/li>\n<li><strong>La sommation dendritique non lin\u00e9aire :<\/strong> Le calcul de l&rsquo;entr\u00e9e nette par sommation pond\u00e9r\u00e9e des signaux aff\u00e9rents constitue une approximation fonctionnelle directe de l&rsquo;int\u00e9gration spatio-temporelle des potentiels postsynaptiques (PPSE et PPSI) s&rsquo;op\u00e9rant au niveau de l&rsquo;arbre dendritique et du c\u00f4ne d&rsquo;\u00e9mergence de l&rsquo;axone neuronal.<\/li>\n<li><strong>L&rsquo;inhibition lat\u00e9rale :<\/strong> Le recours massif aux interconnexions inhibitrices comp\u00e9titives au sein des couches PDP trouve son \u00e9quivalent neurobiologique parfait dans les r\u00e9seaux d&rsquo;interneurones inhibiteurs GABAergiques (notamment les cellules en panier et les cellules \u00e0 chandelier), indispensables \u00e0 l&rsquo;aiguisage des profils r\u00e9cepteurs dans les colonnes corticales de la vision ou du cortex somatosensoriel.<\/li>\n<li><strong>La plasticit\u00e9 synaptique :<\/strong> Les modifications des matrices de poids constituent l&rsquo;expression computationnelle des processus de potentialisation \u00e0 long terme (<em>LTP<\/em>) et de d\u00e9pression \u00e0 long terme (<em>LTD<\/em>) m\u00e9di\u00e9s par les r\u00e9cepteurs glutamatergiques NMDA et AMPA observ\u00e9s in vitro depuis les travaux d&rsquo;Eric Kandel et de Terje L\u00f8mo.<\/li>\n<\/ul>\n<h3>9.2 Les limites de plausibilit\u00e9 biologique de la r\u00e9tropropagation<\/h3>\n<p>Toutefois, en d\u00e9pit de ces s\u00e9duisantes analogies globales, une critique r\u00e9currente et f\u00e9roce a \u00e9t\u00e9 adress\u00e9e au connexionnisme par les neurobiologistes les plus rigoureux, Francis Crick en t\u00eate dans son c\u00e9l\u00e8bre article de 1989 intitul\u00e9 <em>The recent excitement about neural networks: What is the reality?<\/em>. Cette critique cible sp\u00e9cifiquement le manque criant de r\u00e9alisme biologique de l&rsquo;algorithme moteur du PDP : la r\u00e9tropropagation du gradient d&rsquo;erreur.<\/p>\n<p>Le premier obstacle biologique insurmontable porte le nom de <strong>probl\u00e8me du transport des poids<\/strong> (<em>weight transport problem<\/em>). Dans l&rsquo;algorithme math\u00e9matique de Rumelhart et ses pairs, le calcul de l&rsquo;erreur r\u00e9tropropag\u00e9e au niveau des couches cach\u00e9es r\u00e9clame imp\u00e9rativement que les signaux d&rsquo;erreur redescendants empruntent en sens inverse les connexions synaptiques physiques avec des valeurs de poids rigoureusement identiques \u00e0 celles utilis\u00e9es pour la propagation du signal ascendant (<em>w<sub>kj<\/sub> = w<sub>kj<\/sub><sup>T<\/sup><\/em>). Or, une telle r\u00e9ciprocit\u00e9 sym\u00e9trique parfaite est formellement impossible dans le syst\u00e8me nerveux : les synapses chimiques sont des valves biologiques unidirectionnelles \u0441\u0442\u0440\u043e\u0433\u043e asym\u00e9triques ; l&rsquo;information \u00e9lectrique et chimique ne peut pas physiquement remonter l&rsquo;axone en sens inverse pour aller ajuster r\u00e9troactivement l&rsquo;efficacit\u00e9 de la synapse pr\u00e9synaptique \u00e9mettrice.<\/p>\n<p>En second lieu, l&rsquo;apprentissage par r\u00e9tropropagation standard pr\u00e9suppose l&rsquo;intervention permanente d&rsquo;un \u00ab instructeur omniscient \u00bb externe qui injecte \u00e0 chaque milliseconde la r\u00e9ponse correcte attendue (<em>t<sub>i<\/sub><\/em>) et soustrait la sortie observ\u00e9e pour calculer un r\u00e9sidu d&rsquo;erreur parfait. Le n\u00e9ocortex ne re\u00e7oit \u00e9videmment pas de tels signaux d&rsquo;erreur math\u00e9matiques supervis\u00e9s pour la vaste majorit\u00e9 de ses apprentissages sensoriels et perceptifs. Enfin, les r\u00e9seaux connexionnistes classiques violent ouvertement le <strong>principe de Dale<\/strong>, une loi neurobiologique fondamentale \u00e9non\u00e7ant qu&rsquo;un neurone biologique donn\u00e9 lib\u00e8re les m\u00eames neurotransmetteurs \u00e0 toutes ses terminaisons axonales et est donc soit exclusivement excitateur, soit exclusivement inhibiteur. Dans les mod\u00e8les PDP de 1986, une m\u00eame unit\u00e9 pouvait sans encombre poss\u00e9der des poids de sortie positifs vers certains r\u00e9cepteurs et n\u00e9gatifs vers d&rsquo;autres, et m\u00eame changer de polarit\u00e9 au cours de l&rsquo;entra\u00eenement.<\/p>\n<p>Ces incoh\u00e9rences ont stimul\u00e9 l&rsquo;\u00e9mergence d&rsquo;une nouvelle g\u00e9n\u00e9ration de mod\u00e8les d&rsquo;apprentissage bio-inspir\u00e9s. Des chercheurs ont notamment d\u00e9montr\u00e9 r\u00e9cemment la viabilit\u00e9 du <em>feedback alignment<\/em> (Timothy Lillicrap), prouvant que la r\u00e9tropropagation peut fonctionner efficacement avec des matrices de r\u00e9troaction al\u00e9atoires asym\u00e9triques fixes, \u00e9liminant le probl\u00e8me du transport des poids. Parall\u00e8lement, le cadre th\u00e9orique du <strong>codage pr\u00e9dictif<\/strong> (<em>predictive coding<\/em>), formalis\u00e9 par Rajesh Rao, Dana Ballard et Karl Friston, a d\u00e9montr\u00e9 comment le cortex peut calculer localement des erreurs de pr\u00e9diction \u00e0 travers des microcircuits hi\u00e9rarchiques corticaux canoniques bidirectionnels sans n\u00e9cessiter d&rsquo;instructeur externe, r\u00e9alisant enfin l&rsquo;union tant esp\u00e9r\u00e9e entre connexionnisme et neurophysiologie fine.<\/p>\n<h3>9.3 R\u00e9seaux r\u00e9currents et dynamiques oscillatoires c\u00e9r\u00e9brales<\/h3>\n<p>Les premiers r\u00e9seaux de neurones distribu\u00e9s pr\u00e9sentaient une topologie simple dite unidirectionnelle (<em>feedforward<\/em>), o\u00f9 l&rsquo;information sensorielle s&rsquo;\u00e9coulait de mani\u00e8re lin\u00e9aire depuis la couche d&rsquo;entr\u00e9e vers la sortie \u00e0 travers les unit\u00e9s cach\u00e9es. Tr\u00e8s vite, Rumelhart, McClelland et d&rsquo;autres physiciens-math\u00e9maticiens ralli\u00e9s au connexionnisme ont compris qu&rsquo;une telle simplification mutilait la r\u00e9alit\u00e9 c\u00e9r\u00e9brale. Le cortex biologique est satur\u00e9 de connexions r\u00e9currentes, de boucles de r\u00e9troaction locales et de circuits cortico-thalamiques r\u00e9entrants qui r\u00e9injectent constamment l&rsquo;activit\u00e9 pass\u00e9e dans le traitement pr\u00e9sent.<\/p>\n<p>L&rsquo;introduction des <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/R%C3%A9seau_de_neurones_r%C3%A9currents\">r\u00e9seaux de neurones r\u00e9currents<\/a> (RNN), conceptualis\u00e9s notamment par Michael I. Jordan (1986) puis par Jeffrey Elman (1990) avec son c\u00e9l\u00e8bre r\u00e9seau simple r\u00e9current (<em>Simple Recurrent Network<\/em> ou SRN), a permis de conf\u00e9rer aux mod\u00e8les connexionnistes une v\u00e9ritable dimension temporelle intrins\u00e8que. En introduisant des \u00ab unit\u00e9s de contexte \u00bb qui conservent une copie de l&rsquo;\u00e9tat d&rsquo;activation des unit\u00e9s cach\u00e9es au pas de temps pr\u00e9c\u00e9dent (<em>t-1<\/em>) pour la r\u00e9injecter au pas de temps suivant (<em>t<\/em>), les r\u00e9seaux r\u00e9currents sont devenus capables de traiter des s\u00e9quences temporelles continues, d&rsquo;apprendre des grammaires s\u00e9rielles complexes et d&rsquo;anticiper dynamiquement le futur imm\u00e9diat d&rsquo;un flux continu de donn\u00e9es perceptives ou linguistiques.<\/p>\n<p>Par ailleurs, cette orientation r\u00e9currente s&rsquo;est enrichie des apports des <strong>r\u00e9seaux de Hopfield<\/strong> et des <strong>machines de Boltzmann<\/strong> d\u00e9velopp\u00e9es par Geoffrey Hinton et Terry Sejnowski. Dans ces architectures massivement r\u00e9currentes et sym\u00e9triques, la dynamique computationnelle ne se traduit plus par une cartographie fonctionnelle statique entr\u00e9e-sortie, mais par la relaxation progressive de contraintes jusqu&rsquo;\u00e0 l&rsquo;atteinte d&rsquo;un \u00e9tat d&rsquo;\u00e9quilibre stationnaire correspondant \u00e0 un <strong>attracteur<\/strong> dans un paysage d&rsquo;\u00e9nergie libre de Liapounov. Ces attracteurs dynamiques offrent une mod\u00e9lisation math\u00e9matique rigoureuse de la m\u00e9moire de travail et entrent en r\u00e9sonance directe avec les dynamiques oscillatoires c\u00e9r\u00e9brales mesur\u00e9es par \u00e9lectroenc\u00e9phalographie (EEG) et magn\u00e9toenc\u00e9phalographie (MEG). Les synchronisations de phase et les rythmes gamma (30-80 Hz) et th\u00eata (4-8 Hz), impliqu\u00e9s dans la liaison des traits perceptifs (<em>feature binding<\/em>) et la conscience d&rsquo;acc\u00e8s, trouvent dans les mod\u00e8les connexionnistes r\u00e9currents leur fondement computationnel le plus naturel.<\/p>\n<h2>10. La th\u00e9orie des syst\u00e8mes d&rsquo;apprentissage compl\u00e9mentaires (CLS)<\/h2>\n<h3>10.1 L&rsquo;impasse de l&rsquo;oubli catastrophique dans les r\u00e9seaux PDP simples<\/h3>\n<p>Au d\u00e9but des ann\u00e9es 1990, en d\u00e9pit des succ\u00e8s \u00e9clatants du connexionnisme, une vuln\u00e9rabilit\u00e9 th\u00e9orique critique mena\u00e7a d&rsquo;invalider le paradigme PDP en tant que th\u00e9orie compl\u00e8te de la m\u00e9moire biologique : le probl\u00e8me d\u00e9vastateur de l&rsquo;<strong>oubli catastrophique<\/strong> (<em>catastrophic forgetting<\/em> ou <em>catastrophic interference<\/em>), formalis\u00e9 de mani\u00e8re exhaustive par Michael McCloskey et Neal Cohen en 1989.<\/p>\n<p>Ce ph\u00e9nom\u00e8ne se manifeste de fa\u00e7on spectaculaire lorsqu&rsquo;un r\u00e9seau distribu\u00e9 entra\u00een\u00e9 \u00e0 ma\u00eetriser parfaitement un ensemble d&rsquo;informations A (par exemple un corpus de connaissances lexicales) est ensuite soumis \u00e0 l&rsquo;apprentissage s\u00e9quentiel exclusif d&rsquo;un nouvel ensemble d&rsquo;informations B. Alors qu&rsquo;un \u00eatre humain apprend de nouveaux faits de mani\u00e8re continue tout au long de sa vie sans effacer ses comp\u00e9tences ant\u00e9rieures, le r\u00e9seau connexionniste simple subit une amn\u00e9sie r\u00e9trograde instantan\u00e9e et totale : l&rsquo;ajustement syst\u00e9matique des poids synaptiques requis pour absorber les r\u00e9gularit\u00e9s du corpus B efface et \u00e9crase en quelques it\u00e9rations la totalit\u00e9 des configurations pond\u00e9r\u00e9es qui encodaient le corpus A. Les connaissances anciennes sont an\u00e9anties au profit exclusif des nouvelles.<\/p>\n<p>La raison computationnelle de cette catastrophe mn\u00e9sique r\u00e9side dans la nature m\u00eame du codage distribu\u00e9 et de la r\u00e9tropropagation du gradient : puisque chaque synapse participe simultan\u00e9ment \u00e0 l&rsquo;encodage de multiples repr\u00e9sentations, modifier des poids pour accommoder un nouvel \u00e9v\u00e9nement particulier d\u00e9forme in\u00e9vitablement l&rsquo;ensemble de l&rsquo;espace vectoriel pr\u00e9existant. Les r\u00e9seaux PDP simples ne pouvaient fonctionner de mani\u00e8re stable qu&rsquo;\u00e0 la condition expresse de soumettre l&rsquo;int\u00e9gralit\u00e9 des donn\u00e9es en vrac selon un mode d&rsquo;<strong>apprentissage entrelac\u00e9<\/strong> (<em>interleaved learning<\/em>), alternant al\u00e9atoirement stimuli anciens et nouveaux. Or, cette exigence est rigoureusement incompatible avec l&rsquo;exp\u00e9rience ph\u00e9nom\u00e9nologique de la vie : un organisme vivant traverse des \u00e9pisodes singuliers uniques qu&rsquo;il doit \u00eatre capable de m\u00e9moriser instantan\u00e9ment sans avoir besoin de r\u00e9exp\u00e9rimenter tout son pass\u00e9 \u00e0 chaque seconde.<\/p>\n<h3>10.2 Division du travail entre hippocampe et n\u00e9ocortex<\/h3>\n<p>Face \u00e0 cette impasse fondamentale, James L. McClelland, en collaboration avec les neurobiologistes Bruce L. McNaughton et Randall C. O&rsquo;Reilly, a publi\u00e9 en 1995 dans la <em>Psychological Review<\/em> un article monumental qui constitue l&rsquo;une des contributions les plus p\u00e9rennes des sciences cognitives modernes : la <strong>th\u00e9orie des syst\u00e8mes d&rsquo;apprentissage compl\u00e9mentaires<\/strong> (<em>Complementary Learning Systems<\/em> ou th\u00e9orie CLS).<\/p>\n<p>La th\u00e9orie CLS postule que l&rsquo;architecture de la m\u00e9moire des vert\u00e9br\u00e9s sup\u00e9rieurs a r\u00e9solu le probl\u00e8me de l&rsquo;oubli catastrophique par une division du travail computationnelle \u00e9l\u00e9gante et n\u00e9cessaire entre deux structures c\u00e9r\u00e9brales anatomiquement et fonctionnellement distinctes :<\/p>\n<ul>\n<li><strong>Le syst\u00e8me hippocampique (hippocampe et cortex m\u00e9dial temporal) :<\/strong> Un processeur mn\u00e9sique sp\u00e9cialis\u00e9 dans l&rsquo;<strong>apprentissage \u00e9pisodique ultra-rapide<\/strong>. Dot\u00e9 d&rsquo;une plasticit\u00e9 synaptique fulgurante, ce r\u00e9seau utilise des repr\u00e9sentations hautement clairsem\u00e9es (<em>sparse coding<\/em>) au sein du gyrus dent\u00e9 pour op\u00e9rer une s\u00e9paration de patrons (<em>pattern separation<\/em>). Les nouveaux souvenirs y sont encod\u00e9s de fa\u00e7on individualis\u00e9e sans risque de recouvrement ou d&rsquo;interf\u00e9rence avec les connaissances ant\u00e9rieures.<\/li>\n<li><strong>Le syst\u00e8me n\u00e9ocortical (l&rsquo;ensemble du manteau c\u00e9r\u00e9bral) :<\/strong> Un r\u00e9seau de type PDP \u00e0 connectivit\u00e9 distribu\u00e9e dense et \u00e0 <strong>apprentissage lent et graduel<\/strong>. Ce syst\u00e8me int\u00e8gre insensiblement les r\u00e9gularit\u00e9s statistiques fondamentales de l&rsquo;environnement, extrayant la structure s\u00e9mantique sous-jacente du monde au gr\u00e9 d&rsquo;une exposition massive et prolong\u00e9e.<\/li>\n<\/ul>\n<p>La magie de la th\u00e9orie CLS r\u00e9side dans la mod\u00e9lisation du dialogue permanent unissant ces deux cerveaux. Au cours des p\u00e9riodes de repos passif et tout particuli\u00e8rement durant les phases de <strong>sommeil lent<\/strong>, le syst\u00e8me hippocampique r\u00e9active spontan\u00e9ment de mani\u00e8re acc\u00e9l\u00e9r\u00e9e les traces \u00e9pisodiques encod\u00e9es au cours de la journ\u00e9e \u00e9coul\u00e9e (ph\u00e9nom\u00e8ne de <em>replay<\/em> neural). Ces trains de d\u00e9charges sont renvoy\u00e9s vers le n\u00e9ocortex, simulant un apprentissage entrelac\u00e9 artificiel endog\u00e8ne. Par ce processus de <strong>consolidation mn\u00e9sique syst\u00e9mique<\/strong>, les \u00e9v\u00e9nements singuliers v\u00e9cus par l&rsquo;hippocampe sont lentement transf\u00e9r\u00e9s, dig\u00e9r\u00e9s et int\u00e9gr\u00e9s au sein de la matrice s\u00e9mantique distribu\u00e9e du n\u00e9ocortex sans d\u00e9stabiliser l&rsquo;\u00e9difice des savoirs anciens. Cette formalisation computationnelle \u00e9lucidait enfin de mani\u00e8re magistrale les c\u00e9l\u00e8bres tableaux cliniques d&rsquo;amn\u00e9sie observ\u00e9s chez des patients amn\u00e9siques embl\u00e9matiques comme le patient H.M., priv\u00e9 de ses hippocampes et incapable de fixer le moindre souvenir nouveau tout en conservant son lexique et son savoir s\u00e9mantique ancien intacts.<\/p>\n<h3>10.3 Actualisations modernes du cadre CLS<\/h3>\n<p>Plus de deux d\u00e9cennies apr\u00e8s sa parution, la th\u00e9orie des syst\u00e8mes d&rsquo;apprentissage compl\u00e9mentaires a fait l&rsquo;objet d&rsquo;une actualisation majeure en 2016 par McClelland, O&rsquo;Reilly et Dharshan Kumaran dans un article remarqu\u00e9 paru dans <em>Trends in Cognitive Sciences<\/em>. Cette r\u00e9vision int\u00e8gre les avanc\u00e9es spectaculaires de l&rsquo;optog\u00e9n\u00e9tique, de l&rsquo;imagerie par r\u00e9sonance magn\u00e9tique fonctionnelle (IRMf) et de l&rsquo;intelligence artificielle contemporaine.<\/p>\n<p>L&rsquo;actualisation moderne du cadre CLS enrichit la dichotomie originale en y incorporant de fa\u00e7on d\u00e9cisive le r\u00f4le computationnel du <strong>cortex pr\u00e9frontal<\/strong>. Ce dernier agit comme un r\u00e9gulateur m\u00e9tacognitif dynamique, guidant le rappel hippocampique par l&rsquo;application de contraintes top-down en fonction du contexte de la t\u00e2che courante. De surcro\u00eet, les donn\u00e9es empiriques r\u00e9centes ont d\u00e9montr\u00e9 que l&rsquo;hippocampe n&rsquo;est pas un simple magn\u00e9tophone passif d&rsquo;\u00e9pisodes bruts : il extrait lui-m\u00eame des repr\u00e9sentations relationnelles et participe activement au rappel \u00e9pisodique reconstructif et \u00e0 la navigation spatiale en dialogue avec les r\u00e9seaux corticaux s\u00e9mantiques.<\/p>\n<p>Sur le versant technologique, la th\u00e9orie CLS a fourni la cl\u00e9 de vo\u00fbte architecturale permettant de juguler le <em>catastrophic forgetting<\/em> au sein des syst\u00e8mes d&rsquo;apprentissage automatique de pointe. Des laboratoires d&rsquo;intelligence artificielle de premier plan se sont directement inspir\u00e9s des \u00e9quations de McClelland et McNaughton pour concevoir des architectures \u00e0 m\u00e9moire \u00e9pisodique diff\u00e9rentiable (comme les <em>Neural Turing Machines<\/em> et le syst\u00e8me d&rsquo;apprentissage par renforcement profond <em>Deep Q-Networks<\/em> de DeepMind). En combinant un r\u00e9seau profond lent avec un tampon de rediffusion d&rsquo;exp\u00e9riences (<em>experience replay buffer<\/em>) calqu\u00e9 sur l&rsquo;hippocampe, ces machines sont enfin parvenues \u00e0 ma\u00eetriser de multiples t\u00e2ches cognitives cons\u00e9cutives sans r\u00e9gresser, confirmant la f\u00e9condit\u00e9 in\u00e9puisable des intuitions connexionnistes originelles.<\/p>\n<h2>11. Impact et post\u00e9rit\u00e9 du PDP en psychologie cognitive et neuropsychologie<\/h2>\n<h3>11.1 R\u00e9volution dans la mod\u00e9lisation des troubles neuropsychologiques<\/h3>\n<p>L&rsquo;intrusion du paradigme PDP a profond\u00e9ment renouvel\u00e9 la m\u00e9thodologie et l&rsquo;\u00e9pist\u00e9mologie de la neuropsychologie humaine en substituant des mod\u00e8les dynamiques d&rsquo;interactions graduelles aux traditionnels diagrammes statiques modulaires. L&rsquo;impact le plus retentissant de cette mutation s&rsquo;est cristallis\u00e9 autour des travaux pionniers de David Plaut, James McClelland, Karalyn Patterson et Mark Seidenberg sur la <strong>mod\u00e9lisation computationnelle des troubles de la lecture<\/strong>.<\/p>\n<p>Dans les mod\u00e8les classiques de lecture \u00e0 double voie symbolique d\u00e9velopp\u00e9s par Max Coltheart, la lecture d&rsquo;un mot s&rsquo;op\u00e9rait obligatoirement soit par une \u00ab voie lexicale directe \u00bb (associant la forme orthographique stock\u00e9e \u00e0 sa prononciation), soit par une \u00ab voie d&rsquo;assemblage phonologique non lexicale \u00bb (appliquant des r\u00e8gles rigides de conversion graph\u00e8me-phon\u00e8me). Or, Plaut et ses coll\u00e8gues ont d\u00e9montr\u00e9 en 1996 qu&rsquo;un r\u00e9seau connexionniste unique int\u00e9grant des repr\u00e9sentations continues entre orthographe, phonologie et s\u00e9mantique pouvait simuler la totalit\u00e9 des performances de lecture humaine sans n\u00e9cessiter de r\u00e8gles duales disjointes. En infligeant des l\u00e9sions cibl\u00e9es aux diff\u00e9rentes synapses de ce r\u00e9seau, ils ont vu \u00e9merger avec une rigueur stup\u00e9fiante les dissociations fines observ\u00e9es en clinique neurologique :<\/p>\n<ul>\n<li><strong>La dyslexie de surface :<\/strong> O\u00f9 le patient \u00e9choue \u00e0 lire les mots irr\u00e9guliers (pronon\u00e7ant par exemple \u00ab yacht \u00bb phon\u00e9tiquement) tout en lisant parfaitement les mots r\u00e9guliers et les pseudo-mots, \u00e9mergeant spontan\u00e9ment d&rsquo;une d\u00e9connexion partielle entre le p\u00f4le s\u00e9mantique et le p\u00f4le phonologique.<\/li>\n<li><strong>La dyslexie phonologique :<\/strong> O\u00f9 le patient lit couramment les mots r\u00e9els connus mais se montre incapable de lire des pseudo-mots inconnus (comme \u00ab slint \u00bb), r\u00e9sultant d&rsquo;une alt\u00e9ration diffuse des voies directes orthophono-phonologiques.<\/li>\n<\/ul>\n<p>Ces succ\u00e8s ont incit\u00e9 les neuropsychologues \u00e0 abandonner le postulat dogmatique de la modularit\u00e9 stricte de l&rsquo;esprit (au sens de Fodor) au profit du concept de <strong>quasi-modularit\u00e9 \u00e9mergente<\/strong>. Les dissociations cliniques ne prouvent plus l&rsquo;existence d&rsquo;organes mentaux autonomes g\u00e9n\u00e9tiquement pr\u00e9d\u00e9termin\u00e9s ; elles refl\u00e8tent l&rsquo;organisation fonctionnelle distribu\u00e9e de r\u00e9seaux complexes dont les sous-r\u00e9gions se sp\u00e9cialisent graduellement au cours du d\u00e9veloppement sous la pression conjointe des contraintes de connectivit\u00e9 anatomique et des caract\u00e9ristiques statistiques des t\u00e2ches \u00e9cologiques \u00e0 accomplir.<\/p>\n<h3>11.2 Influence sur la psychologie du d\u00e9veloppement cognitif<\/h3>\n<p>Le traitement distribu\u00e9 en parall\u00e8le a \u00e9galement op\u00e9r\u00e9 une refonte conceptuelle majeure dans le champ de la psychologie du d\u00e9veloppement de l&rsquo;enfant en offrant une troisi\u00e8me voie \u00e9pist\u00e9mologique in\u00e9dite pour d\u00e9passer l&rsquo;\u00e9ternelle aporie opposant le nativisme radical (port\u00e9 par Noam Chomsky et Jerry Fodor) \u00e0 l&#8217;empirisme b\u00e9havioriste na\u00eff de la \u00ab tabula rasa \u00bb. Cette nouvelle synth\u00e8se porte le nom d&rsquo;<strong>\u00e9mergentisme connexionniste<\/strong> ou de <strong>neuroconstructivisme<\/strong>, magistralement th\u00e9oris\u00e9 par des chercheurs comme Annette Karmiloff-Smith, Jeffrey Elman et Mark Johnson dans leur ouvrage phare de 1996, <em>Thinking Through Networks: A Connectionist Approach to Development<\/em>.<\/p>\n<p>Dans ce cadre th\u00e9orique, l&rsquo;architecture du r\u00e9seau ne contient pas de connaissances symboliques inn\u00e9es pr\u00e9programm\u00e9es relatives \u00e0 la physique du monde ou \u00e0 la grammaire universelle. Le bagage inn\u00e9 est red\u00e9fini sous forme de contraintes architecturales initiales modestes : un patron de connectivit\u00e9 de base, des biais d&rsquo;activation g\u00e9n\u00e9raux, des taux de plasticit\u00e9 synaptique et des cascades temporelles d&rsquo;apprentissage. Guid\u00e9 par ces pr\u00e9dispositions souples, le r\u00e9seau s&rsquo;auto-organise au contact de l&rsquo;environnement, ses repr\u00e9sentations vectorielles internes subissant des restructurations qualitatives non lin\u00e9aires qui rappellent les <strong>stades de d\u00e9veloppement<\/strong> d\u00e9crits par Jean Piaget.<\/p>\n<p>De fascinantes simulations connexionnistes ont par exemple permis d&rsquo;\u00e9lucider l&rsquo;acquisition de la <strong>permanence de l&rsquo;objet<\/strong> et le raisonnement physique chez le nourrisson (Munakata et al., 1997). Alors que les th\u00e9oriciens nativistes postulaient l&rsquo;existence d&rsquo;un module inn\u00e9 du concept d&rsquo;objet pour expliquer pourquoi le b\u00e9b\u00e9 r\u00e9agit \u00e0 la disparition d&rsquo;une balle derri\u00e8re un \u00e9cran, les mod\u00e8les PDP r\u00e9currents ont d\u00e9montr\u00e9 que la permanence de l&rsquo;objet \u00e9merge progressivement de la capacit\u00e9 du r\u00e9seau \u00e0 maintenir un patron d&rsquo;activation interne r\u00e9siduel en l&rsquo;absence de signal sensoriel imm\u00e9diat via des connexions r\u00e9currentes. L&rsquo;\u00e9mergentisme connexionniste a ainsi prouv\u00e9 que la complexit\u00e9 de l&rsquo;esprit humain ne requiert pas une pr\u00e9programmation g\u00e9n\u00e9tique de toutes ses fonctions cognitives, mais d\u00e9coule de la puissance adaptative de dynamiques distribu\u00e9es s&rsquo;auto-sculptant au fil de l&rsquo;exp\u00e9rience v\u00e9cue.<\/p>\n<h3>11.3 Psychopathologie cognitive et mod\u00e9lisation des sch\u00e9mas d\u00e9lirants<\/h3>\n<p>Au-del\u00e0 de la cognition normale et des l\u00e9sions neurologiques focales, le cadre th\u00e9orique du traitement distribu\u00e9 en parall\u00e8le a \u00e9tendu ses ramifications f\u00e9condes \u00e0 la psychiatrie biologique et \u00e0 la psychopathologie cognitive. L&rsquo;une des contributions les plus saisissantes dans ce domaine est l&rsquo;application des mod\u00e8les de r\u00e9seaux neuronaux distribu\u00e9s \u00e0 la compr\u00e9hension m\u00e9caniste des sympt\u00f4mes positifs de la <strong>schizophr\u00e9nie<\/strong>, initi\u00e9e au d\u00e9but des ann\u00e9es 1990 par le psychiatre et mod\u00e9lisateur Ralph Hoffman et le neuroscientifique David Servan-Schreiber.<\/p>\n<p>Sur le plan neurobiologique, une hypoth\u00e8se majeure postulait que la schizophr\u00e9nie \u00e9tait li\u00e9e \u00e0 une anomalie du neurod\u00e9veloppement caract\u00e9ris\u00e9e par un <strong>\u00e9lagage synaptique excessif<\/strong> (<em>hyper-pruning<\/em>) durant l&rsquo;adolescence au niveau du cortex pr\u00e9frontal et temporal. Hoffman et ses collaborateurs ont test\u00e9 cette hypoth\u00e8se au sein d&rsquo;un r\u00e9seau r\u00e9current distribu\u00e9 en simulant une \u00e9limination massive et anormale de ses connexions synaptiques. Le r\u00e9sultat computationnel fut spectaculaire : au-del\u00e0 d&rsquo;un seuil critique de destruction synaptique, le r\u00e9seau vit \u00e9merger en son sein des <strong>attracteurs parasites<\/strong> (<em>spurious attractors<\/em>).<\/p>\n<p>Dans cet \u00e9tat pathologique, le syst\u00e8me dynamique ne converge plus vers les puits de potentiel stables correspondant aux souvenirs ou percepts r\u00e9els ; il se retrouve irr\u00e9m\u00e9diablement pi\u00e9g\u00e9 dans des \u00e9tats d&rsquo;activation autonomes aberrants, totalement d\u00e9connect\u00e9s des stimuli d&rsquo;entr\u00e9e fournis par l&rsquo;environnement ext\u00e9rieur. Hoffman a d\u00e9montr\u00e9 que ces attracteurs parasites constituent la mod\u00e9lisation math\u00e9matique directe des <strong>hallucinations acoustico-verbales<\/strong> et des <strong>id\u00e9es d\u00e9lirantes fixes<\/strong> : le cerveau schizophr\u00e8ne g\u00e9n\u00e8re de la signification et per\u00e7oit des voix l\u00e0 o\u00f9 il n&rsquo;y a que du silence ou du bruit al\u00e9atoire en raison d&rsquo;une fragmentation de son paysage de connectivit\u00e9 synaptique.<\/p>\n<p>Ces d\u00e9couvertes ont exerc\u00e9 une influence d\u00e9terminante sur les th\u00e9ories contemporaines de la th\u00e9rapie cognitive (TCC) d\u00e9velopp\u00e9es par Aaron Beck. La conception de la d\u00e9pression et des troubles anxieux a \u00e9t\u00e9 enrichie par la vision des \u00ab sch\u00e9mas cognitifs \u00bb n\u00e9gatifs non plus comme des croyances propositionnelles statiques, mais comme des bassins d&rsquo;attraction \u00e9motionnels et vectoriels hyper-profonds au sein desquels la dynamique psychique du patient se retrouve captive, justifiant des interventions psychoth\u00e9rapeutiques cibl\u00e9es visant la restructuration graduelle de la connectivit\u00e9 globale du r\u00e9seau d&rsquo;\u00e9valuation s\u00e9mantique.<\/p>\n<h2>12. De l&rsquo;h\u00e9ritage connexionniste \u00e0 l&rsquo;intelligence artificielle profonde moderne<\/h2>\n<h3>12.1 Continuit\u00e9 th\u00e9orique : du PDP au Deep Learning et aux transformeurs<\/h3>\n<p>L&rsquo;explosion technologique spectaculaire de l&rsquo;intelligence artificielle contemporaine au cours de la d\u00e9cennie 2010 ne repr\u00e9sente en rien une rupture avec le connexionnisme des ann\u00e9es 1980, mais consacre au contraire son triomphe diff\u00e9r\u00e9 et son incarnation \u00e0 une \u00e9chelle dimensionnelle gigantesque. Il existe une lign\u00e9e intellectuelle, institutionnelle et algorithmique directe et ininterrompue reliant David E. Rumelhart et James L. McClelland aux p\u00e8res fondateurs de l&rsquo;<a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/Apprentissage_profond\">apprentissage profond<\/a> (<em>Deep Learning<\/em>).<\/p>\n<p><a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/Geoffrey_Hinton\">Geoffrey Hinton<\/a>, co-auteur essentiel des deux volumes fondateurs de <em>PDP<\/em> en 1986 et laur\u00e9at du prix Nobel de physique en 2024, a \u00e9t\u00e9 la cheville ouvri\u00e8re de cette transmission historique. C&rsquo;est lui qui, aux c\u00f4t\u00e9s de chercheurs comme Yann LeCun et Yoshua Bengio, a patiemment entretenu la flamme connexionniste pendant le long \u00ab hiver de l&rsquo;intelligence artificielle \u00bb des ann\u00e9es 1990, jusqu&rsquo;\u00e0 ce que la puissance d\u00e9multipli\u00e9e des processeurs graphiques (GPU) et l&rsquo;av\u00e8nement des m\u00e9gadonn\u00e9es (<em>Big Data<\/em>) permettent d&rsquo;accomplir le r\u00eave computationnel du groupe de San Diego. Les r\u00e9seaux neuronaux profonds actuels \u2014 qu&rsquo;il s&rsquo;agisse des r\u00e9seaux convolutifs (CNN) pour la vision par ordinateur ou des architectures r\u00e9siduelles (ResNet) \u2014 ne sont rien d&rsquo;autre que des r\u00e9seaux connexionnistes multicouches de Rumelhart et McClelland enrichis de dizaines ou de centaines de couches cach\u00e9es suppl\u00e9mentaires.<\/p>\n<p>La filiation th\u00e9orique culmine de mani\u00e8re \u00e9clatante dans l&rsquo;architecture des <strong>transformeurs<\/strong> (<em>Transformers<\/em>) et des grands mod\u00e8les de langage (LLM comme GPT-4) qui dominent l&rsquo;horizon technologique contemporain. Les briques \u00e9l\u00e9mentaires de ces mod\u00e8les linguistiques \u2014 les plongements lexicaux vectoriels denses (<strong>word embeddings<\/strong> tels que Word2Vec, GloVe ou les repr\u00e9sentations internes des LLM) \u2014 constituent la mat\u00e9rialisation industrielle litt\u00e9rale des repr\u00e9sentations distribu\u00e9es dans des espaces vectoriels g\u00e9om\u00e9triques th\u00e9oris\u00e9es par Paul Smolensky, David Rumelhart et Geoffrey Hinton quatre d\u00e9cennies plus t\u00f4t. Deux mots s\u00e9mantiquement apparent\u00e9s y sont localis\u00e9s \u00e0 proximit\u00e9 g\u00e9om\u00e9trique imm\u00e9diate dans un espace d&rsquo;attributs \u00e0 plusieurs milliers de dimensions. De surcro\u00eet, le fameux <strong>m\u00e9canisme d&rsquo;attention<\/strong> (<em>self-attention<\/em>) au c\u0153ur des transformeurs, qui pond\u00e8re dynamiquement l&rsquo;importance relative de chaque mot d&rsquo;une phrase en fonction de tous les autres pour d\u00e9sambigu\u00efser le contexte global, n&rsquo;est rien d&rsquo;autre que l&rsquo;h\u00e9ritier direct et sophistiqu\u00e9 du mod\u00e8le d&rsquo;activation interactive et des m\u00e9canismes de relaxation de contraintes con\u00e7us par McClelland et Rumelhart en 1981.<\/p>\n<h3>12.2 Ce que la psychologie cognitive moderne retient du paradigme PDP<\/h3>\n<p>L&rsquo;h\u00e9ritage laiss\u00e9 par Rumelhart et McClelland au sein des sciences de l&rsquo;esprit est immense et irr\u00e9versible. Le paradigme PDP a d\u00e9finitivement d\u00e9barrass\u00e9 la psychologie cognitive de l&rsquo;illusion tenace d&rsquo;un esprit fonctionnant comme un logiciel de logique formelle d\u00e9ductive. Il a r\u00e9habilit\u00e9 l&rsquo;<strong>intuition, l&rsquo;analogie et la reconnaissance de formes<\/strong> comme les modes op\u00e9ratoires premiers, fondamentaux et les plus sophistiqu\u00e9s de l&rsquo;intelligence humaine, le raisonnement logico-d\u00e9ductif conscient n&rsquo;apparaissant plus que comme une construction d\u00e9riv\u00e9e, lente, co\u00fbteuse et tardivement acquise.<\/p>\n<p>La cognition humaine est aujourd&rsquo;hui quasi universellement mod\u00e9lis\u00e9e comme l&rsquo;\u00e9volution d&rsquo;un <strong>syst\u00e8me dynamique complexe non lin\u00e9aire<\/strong> op\u00e9rant par satisfaction simultan\u00e9e de contraintes multiples souples (<em>soft constraints<\/em>). Face \u00e0 un probl\u00e8me d\u00e9cisionnel, perceptif ou moteur, notre cerveau ne consulte pas une table de r\u00e8gles pr\u00e9\u00e9tablies ; il recherche activement l&rsquo;\u00e9tat global qui minimise la tension conflictuelle entre des milliers d&rsquo;indices contextuels partiels et contradictoires, r\u00e9alisant une inf\u00e9rence bay\u00e9sienne implicite par la dynamique m\u00eame de ses r\u00e9seaux synaptiques.<\/p>\n<p>De plus, le mod\u00e8le connexionniste a fourni le substrat th\u00e9orique indispensable \u00e0 l&rsquo;essor des th\u00e9ories de la <strong>cognition incarn\u00e9e<\/strong> (<em>embodied cognition<\/em>) et situ\u00e9e. En prouvant que les symboles mentaux ne sont pas des atomes amodaux arbitraires flottant dans un \u00e9ther formel, mais des patrons vectoriels ancr\u00e9s dans la dynamique sensori-motrice du syst\u00e8me nerveux, le PDP a permis de r\u00e9concilier l&rsquo;esprit avec son corps biologique. L&rsquo;intentionnalit\u00e9, la signification et le sens ne requi\u00e8rent aucun \u00ab homoncule \u00bb int\u00e9rieur pour \u00eatre interpr\u00e9t\u00e9s ; ils \u00e9mergent directement de l&rsquo;interaction physique continue reliant l&rsquo;architecture micro-structurale du cerveau au monde ext\u00e9rieur.<\/p>\n<h3>12.3 D\u00e9fis actuels et perspectives pour les architectures cognitives futures<\/h3>\n<p>En d\u00e9pit de son triomphe empirique tant en intelligence artificielle qu&rsquo;en psychologie exp\u00e9rimentale, le paradigme connexionniste et ses prolongements contemporains demeurent confront\u00e9s \u00e0 des d\u00e9fis th\u00e9oriques de premier ordre qui tracent les fronti\u00e8res de la recherche cognitive pour les d\u00e9cennies \u00e0 venir. Le premier \u00e9cueil, h\u00e9rit\u00e9 directement des d\u00e9bats de 1986, est le redoutable <strong>probl\u00e8me de l&rsquo;opacit\u00e9 computationnelle<\/strong> ou de la \u00ab bo\u00eete noire \u00bb (<em>black box problem<\/em>). Si une matrice de cent milliards de poids synaptiques peut apprendre \u00e0 diagnostiquer des cancers ou \u00e0 traduire des langues avec une virtuosit\u00e9 stup\u00e9fiante, l&rsquo;intelligibilit\u00e9 interne de son raisonnement \u00e9chappe largement \u00e0 l&rsquo;analyse formelle. L&rsquo;absence d&rsquo;explicabilit\u00e9 symbolique directe pose des dilemmes \u00e9thiques et \u00e9pist\u00e9mologiques majeurs, stimulant l&rsquo;essor du champ de l&rsquo;IA explicable (XAI) et de la neurobiologie computationnelle interpr\u00e9table.<\/p>\n<p>Le second d\u00e9fi th\u00e9orique majeur, formul\u00e9 avec force par des statisticiens et informaticiens de renom comme <a rel=\"noopener noreferrer\" href=\"https:\/\/fr.wikipedia.org\/wiki\/Judea_Pearl\">Judea Pearl<\/a> dans son manifeste <em>The Book of Why<\/em> (2018), concerne l&rsquo;incapacit\u00e9 intrins\u00e8que des r\u00e9seaux de neurones purement connexionnistes \u00e0 inf\u00e9rer la <strong>causalit\u00e9 v\u00e9ritable<\/strong>. Les architectures distribu\u00e9es de type PDP excellent dans l&rsquo;extraction passive de corr\u00e9lations statistiques massives et d&rsquo;invariants s\u00e9mantiques au sein des donn\u00e9es d&rsquo;entra\u00eenement ; toutefois, elles demeurent aveugles \u00e0 la structure causale g\u00e9n\u00e9rative du monde physique (incapables de r\u00e9pondre de fa\u00e7on principielle \u00e0 des questions contrefactuelles de type \u00ab que se serait-il pass\u00e9 si&#8230; ? \u00bb sans donn\u00e9es pr\u00e9alables). L&rsquo;apprentissage statistique associatif ne suffit pas \u00e0 \u00e9galer la profondeur du raisonnement conceptuel humain.<\/p>\n<p>C&rsquo;est pourquoi la fronti\u00e8re la plus dynamique de la recherche cognitive contemporaine s&rsquo;oriente r\u00e9solument vers les <strong>architectures neuro-symboliques<\/strong>. Refusant l&rsquo;exclusion dogmatique mutuelle qui caract\u00e9risa les guerres intestines des ann\u00e9es 1980 entre Fodor et McClelland, cette nouvelle vague th\u00e9orique tente la synth\u00e8se ultime : fusionner la puissance de perception sous-symbolique, la flexibilit\u00e9 associative et la robustesse au bruit des r\u00e9seaux distribu\u00e9s connexionnistes avec la rigueur compositionnelle, la capacit\u00e9 d&rsquo;abstraction causale et la syst\u00e9maticit\u00e9 v\u00e9rifiable des langages formels symboliques. Pr\u00e8s de quarante ans apr\u00e8s la parution des explorations fondatrices de David Rumelhart et James McClelland, la microstructure de la cognition demeure l&rsquo;horizon le plus exaltant de notre qu\u00eate s\u00e9culaire pour percer l&rsquo;ultime myst\u00e8re de l&rsquo;univers : la nature computationnelle de la conscience et de la pens\u00e9e humaine.<\/p>\n<h2>R\u00e9f\u00e9rences<\/h2>\n<ul>\n<li>Cattell, J. M. (1886). The time it takes to see and name objects. <em>Mind<\/em>, 11(41), 63\u201365. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1093\/mind\/os-XI.41.63\">https:\/\/doi.org\/10.1093\/mind\/os-XI.41.63<\/a><\/li>\n<li>Crick, F. (1989). The recent excitement about neural networks: What is the reality? <em>Nature<\/em>, 337(6203), 129\u2013132. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1038\/337129a0\">https:\/\/doi.org\/10.1038\/337129a0<\/a><\/li>\n<li>Elman, J. L. (1990). Finding structure in time. <em>Cognitive Science<\/em>, 14(2), 179\u2013211. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1207\/s15516709cog1402_1\">https:\/\/doi.org\/10.1207\/s15516709cog1402_1<\/a><\/li>\n<li>Elman, J. L., Bates, E. A., Johnson, M. H., Karmiloff-Smith, A., Parisi, D., &amp; Plunkett, K. (1996). <em>Rethinking Innateness: A connectionist perspective on development<\/em>. MIT Press.<\/li>\n<li>Feldman, J. A., &amp; Ballard, D. H. (1982). Connectionist models and their properties. <em>Cognitive Science<\/em>, 6(3), 205\u2013254. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1207\/s15516709cog0603_1\">https:\/\/doi.org\/10.1207\/s15516709cog0603_1<\/a><\/li>\n<li>Fodor, J. A., &amp; Pylyshyn, Z. W. (1988). Connectionism and cognitive architecture: A critical analysis. <em>Cognition<\/em>, 28(1\u20132), 3\u201371. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1016\/0010-0277(88)90031-5\">https:\/\/doi.org\/10.1016\/0010-0277(88)90031-5<\/a><\/li>\n<li>Hebb, D. O. (1949). <em>The Organization of Behavior: A neuropsychological theory<\/em>. John Wiley &amp; Sons.<\/li>\n<li>Hinton, G. E., &amp; Sejnowski, T. J. (1986). Learning and relearning in Boltzmann machines. In D. E. Rumelhart &amp; J. L. McClelland (Eds.), <em>Parallel Distributed Processing: Explorations in the microstructure of cognition<\/em> (Vol. 1, pp. 282\u2013317). MIT Press.<\/li>\n<li>Hoffman, R. E., &amp; McGlashan, T. H. (1997). Synaptic elimination, neurodevelopment, and the mechanism of hallucinated \u00ab\u00a0voices\u00a0\u00bb in schizophrenia. <em>American Journal of Psychiatry<\/em>, 154(12), 1683\u20131689. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1176\/ajp.154.12.1683\">https:\/\/doi.org\/10.1176\/ajp.154.12.1683<\/a><\/li>\n<li>Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. <em>Proceedings of the National Academy of Sciences<\/em>, 79(8), 2554\u20132558. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1073\/pnas.79.8.2554\">https:\/\/doi.org\/10.1073\/pnas.79.8.2554<\/a><\/li>\n<li>Jordan, M. I. (1986). Attractor dynamics and parallelism in a connectionist sequential machine. In <em>Proceedings of the Eighth Annual Conference of the Cognitive Science Society<\/em> (pp. 531\u2013546). Lawrence Erlbaum Associates.<\/li>\n<li>Kumaran, D., Hassabis, D., &amp; McClelland, J. L. (2016). What learning systems do intelligent agents need? Complementary learning systems theory updated. <em>Trends in Cognitive Sciences<\/em>, 20(7), 512\u2013534. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1016\/j.tics.2016.05.004\">https:\/\/doi.org\/10.1016\/j.tics.2016.05.004<\/a><\/li>\n<li>Lillicrap, T. P., Cownden, D., Tweed, D. B., &amp; Akerman, C. J. (2016). Random synaptic feedback weights support error backpropagation for deep learning. <em>Nature Communications<\/em>, 7(1), 13276. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1038\/ncomms13276\">https:\/\/doi.org\/10.1038\/ncomms13276<\/a><\/li>\n<li>Marr, D. (1982). <em>Vision: A computational investigation into the human representation and processing of visual information<\/em>. W. H. Freeman.<\/li>\n<li>McClelland, J. L., &amp; Rumelhart, D. E. (1981). An interactive activation model of context effects in letter perception: Part 1. An account of basic findings. <em>Psychological Review<\/em>, 88(5), 375\u2013407. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1037\/0033-295X.88.5.375\">https:\/\/doi.org\/10.1037\/0033-295X.88.5.375<\/a><\/li>\n<li>McClelland, J. L., McNaughton, B. L., &amp; O&rsquo;Reilly, R. C. (1995). Why there are complementary learning systems in the hippocampus and neocortex: Insights from the successes and failures of connectionist models of learning and memory. <em>Psychological Review<\/em>, 102(3), 419\u2013457. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1037\/0033-295X.102.3.419\">https:\/\/doi.org\/10.1037\/0033-295X.102.3.419<\/a><\/li>\n<li>McCloskey, M., &amp; Cohen, N. J. (1989). Catastrophic interference in connectionist networks: The sequential learning problem. <em>Psychology of Learning and Motivation<\/em>, 24, 109\u2013165. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1016\/S0079-7421(08)60536-8\">https:\/\/doi.org\/10.1016\/S0079-7421(08)60536-8<\/a><\/li>\n<li>McCulloch, W. S., &amp; Pitts, W. (1943). A logical calculus of the ideas immanent in nervous activity. <em>The Bulletin of Mathematical Biophysics<\/em>, 5(4), 115\u2013133. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1007\/BF02478259\">https:\/\/doi.org\/10.1007\/BF02478259<\/a><\/li>\n<li>Minsky, M., &amp; Papert, S. (1969). <em>Perceptrons: An introduction to computational geometry<\/em>. MIT Press.<\/li>\n<li>Munakata, Y., McClelland, J. L., Johnson, M. H., &amp; Siegler, R. S. (1997). Rethinking infant knowledge: Toward an adaptive process account of successes and failures in object permanence tasks. <em>Psychological Review<\/em>, 104(4), 686\u2013713. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1037\/0033-295X.104.4.686\">https:\/\/doi.org\/10.1037\/0033-295X.104.4.686<\/a><\/li>\n<li>Newell, A., &amp; Simon, H. A. (1976). Computer science as empirical inquiry: Symbols and search. <em>Communications of the ACM<\/em>, 19(3), 113\u2013126. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1145\/360018.360022\">https:\/\/doi.org\/10.1145\/360018.360022<\/a><\/li>\n<li>Pearl, J., &amp; Mackenzie, D. (2018). <em>The Book of Why: The new science of cause and effect<\/em>. Basic Books.<\/li>\n<li>Pinker, S., &amp; Prince, A. (1988). On language and connectionism: Analysis of a parallel distributed processing model of language acquisition. <em>Cognition<\/em>, 28(1\u20132), 73\u2013193. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1016\/0010-0277(88)90032-7\">https:\/\/doi.org\/10.1016\/0010-0277(88)90032-7<\/a><\/li>\n<li>Plaut, D. C., McClelland, J. L., Seidenberg, M. S., &amp; Patterson, K. (1996). Understanding normal and impaired word reading: Computational principles in quasi-regular domains. <em>Psychological Review<\/em>, 103(1), 56\u2013115. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1037\/0033-295X.103.1.56\">https:\/\/doi.org\/10.1037\/0033-295X.103.1.56<\/a><\/li>\n<li>Rao, R. P., &amp; Ballard, D. H. (1999). Predictive coding in the visual cortex: A functional interpretation of some extra-classical receptive-field effects. <em>Nature Neuroscience<\/em>, 2(1), 79\u201387. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1038\/4580\">https:\/\/doi.org\/10.1038\/4580<\/a><\/li>\n<li>Reicher, G. M. (1969). Perceptual recognition as a function of meaningfulness of stimulus material. <em>Journal of Experimental Psychology<\/em>, 81(2), 275\u2013280. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1037\/h0027768\">https:\/\/doi.org\/10.1037\/h0027768<\/a><\/li>\n<li>Rosch, E. (1975). Cognitive representations of semantic categories. <em>Journal of Experimental Psychology: General<\/em>, 104(3), 192\u2013233. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1037\/0096-3445.104.3.192\">https:\/\/doi.org\/10.1037\/0096-3445.104.3.192<\/a><\/li>\n<li>Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. <em>Psychological Review<\/em>, 65(6), 386\u2013408. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1037\/h0042519\">https:\/\/doi.org\/10.1037\/h0042519<\/a><\/li>\n<li>Rumelhart, D. E., &amp; McClelland, J. L. (1982). An interactive activation model of context effects in letter perception: Part 2. The contextual enhancement effect and some tests and extensions of the model. <em>Psychological Review<\/em>, 89(1), 60\u201394. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1037\/0033-295X.89.1.60\">https:\/\/doi.org\/10.1037\/0033-295X.89.1.60<\/a><\/li>\n<li>Rumelhart, D. E., &amp; McClelland, J. L. (1986). On learning the past tenses of English verbs. In J. L. McClelland &amp; D. E. Rumelhart (Eds.), <em>Parallel Distributed Processing: Explorations in the microstructure of cognition<\/em> (Vol. 2, pp. 216\u2013271). MIT Press.<\/li>\n<li>Rumelhart, D. E., Hinton, G. E., &amp; McClelland, J. L. (1986). A general framework for parallel distributed processing. In D. E. Rumelhart &amp; J. L. McClelland (Eds.), <em>Parallel Distributed Processing: Explorations in the microstructure of cognition<\/em> (Vol. 1, pp. 45\u201376). MIT Press.<\/li>\n<li>Rumelhart, D. E., Hinton, G. E., &amp; Williams, R. J. (1986). Learning representations by back-propagating errors. <em>Nature<\/em>, 323(6088), 533\u2013536. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1038\/323533a0\">https:\/\/doi.org\/10.1038\/323533a0<\/a><\/li>\n<li>Rumelhart, D. E., McClelland, J. L., &amp; the PDP Research Group. (1986). <em>Parallel Distributed Processing: Explorations in the microstructure of cognition<\/em> (Vols. 1\u20132). MIT Press.<\/li>\n<li>Smolensky, P. (1988). On the proper treatment of connectionism. <em>Behavioral and Brain Sciences<\/em>, 11(1), 1\u201323. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1017\/S0140525X00052432\">https:\/\/doi.org\/10.1017\/S0140525X00052432<\/a><\/li>\n<li>Smolensky, P. (1990). Tensor product variable binding and the representation of symbolic structures in connectionist systems. <em>Artificial Intelligence<\/em>, 46(1\u20132), 159\u2013216. <a rel=\"noopener noreferrer\" href=\"https:\/\/doi.org\/10.1016\/0004-3702(90)90007-M\">https:\/\/doi.org\/10.1016\/0004-3702(90)90007-M<\/a><\/li>\n<li>Widrow, B., &amp; Hoff, M. E. (1960). Adaptive switching circuits. In <em>1960 IRE WESCON Convention Record<\/em> (Part 4, pp. 96\u2013104). IRE.<\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"<p>Analyse approfondie du traitement distribu\u00e9 en parall\u00e8le (PDP) et du connexionnisme th\u00e9oris\u00e9 par David E. Rumelhart et James L. McClelland en psychologie cognitive.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","template":"","categories":[647,1486],"tags":[6451,10078,10077,10903,10902],"class_list":["post-9671","psych_article","type-psych_article","status-publish","hentry","category-psychologie-cognitive","category-sciences-cognitives","tag-connexionnisme","tag-david-rumelhart","tag-james-mcclelland","tag-reseaux-de-neurones-artificiels","tag-traitement-distribue-en-parallele"],"_links":{"self":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_article\/9671","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_article"}],"about":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/types\/psych_article"}],"author":[{"embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=9671"}],"version-history":[{"count":0,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=\/wp\/v2\/psych_article\/9671\/revisions"}],"wp:attachment":[{"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=9671"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=9671"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/french.arabpsychology.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=9671"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}