À la croisée de l’informatique théorique, des sciences cognitives et de la psychologie, la linguistique computationnelle interroge la faculté de langage à travers le prisme de la modélisation algorithmique. En transformant les structures verbales en représentations formelles calculables, cette discipline permet de sonder les mécanismes intimes de la pensée humaine et de concevoir des outils d’évaluation clinique sans précédent. Elle constitue aujourd’hui un pilier fondamental pour quiconque cherche à formaliser l’architecture cognitive qui sous-tend la production et la compréhension langagière.
Linguistique computationnelle
1. Définition concise
La linguistique computationnelle est une discipline interdisciplinaire consacrée à l’étude formelle et à la modélisation informatique du langage naturel, combinant les méthodes de la linguistique théorique, de l’informatique, des mathématiques et de la psychologie cognitive. Elle vise à la fois à expliciter les mécanismes computationnels sous-jacents aux facultés linguistiques humaines et à concevoir des architectures algorithmiques capables d’analyser, de générer et d’interpréter le discours oral ou écrit.
Dans le domaine des sciences psychologiques et cognitives, la linguistique computationnelle fournit des cadres d’implémentation servant à tester la plausibilité de théories psycholinguistiques, telles que le traitement syntaxique incrémental ou la mémoire lexicale. Elle se distingue du simple génie logiciel par son ancrage profond dans la recherche théorique sur la structure symbolique, probabiliste ou neuronale du sens et de la cognition.
Elle englobe également le développement d’outils appliqués, souvent regroupés sous l’égide du traitement automatique du langage naturel (TALN), qui permettent d’analyser les marqueurs sémiotiques d’états émotionnels, de déficits neuropsychologiques et de psychopathologies au sein de grands corpus textuels et vocaux.
2. Étymologie et origine linguistique
Le syntagme « linguistique computationnelle » dérive de deux racines distinctes. Le substantif « linguistique » trouve ses origines dans le latin lingua, désignant à la fois l’organe anatomique de la langue et le système verbal de communication, associé au suffixe « -istique », marquant une science ou une étude méthodique. Le qualificatif « computationnel » provient du latin computare (qui signifie « compter ensemble », « calculer » ou « évaluer »), introduit dans la langue académique moderne sous l’influence de l’adjectif anglophone computational durant la révolution cybernétique du milieu du XXe siècle.
Le terme a été formalisé à la fin des années 1950 et au début des années 1960, notamment au sein de l’Association for Computational Linguistics (ACL, initialement nommée Association for Machine Translation and Computational Linguistics lors de sa fondation en 1962). Son émergence correspondait au besoin de distinguer les études purement appliquées de traduction automatique des investigations théoriques sur la calculabilité des grammaires formelles initiées par Noam Chomsky et ses contemporains.
En français, l’expression a progressivement supplanté les périphrases telles que « linguistique mathématique » ou « cybernétique du langage », adoptant une définition unifiée pour désigner tant les modèles computationnels de l’esprit que l’ingénierie du langage naturel.
3. Prononciation et forme grammaticale
En français standard, l’expression se prononce phonétiquement /lɛ̃.ɡɥis.tik kɔ̃.py.ta.sjɔ.nɛl/. Il s’agit d’un syntagme nominal féminin singulier, composé d’un nom commun féminin (« linguistique ») et d’un adjectif relationnel (« computationnelle »).
Sur le plan morphosyntaxique, l’accord en genre et en nombre s’applique aux deux éléments lorsqu’ils sont employés au pluriel (« les approches linguistiques computationnelles »). On rencontre parfois l’abréviation familière « LC » dans la littérature scientifique francophone, bien que le sigle anglophone « CL » demeure fréquent dans les publications internationales.
Il convient de distinguer l’usage académique formel de l’appellation d’ingénierie « TALN » (Traitement Automatique du Langage Naturel) ou « TAL », la linguistique computationnelle conservant une visée épistémologique explicative, tandis que le TAL est prioritairement tourné vers l’efficacité technologique et l’applicabilité industrielle.
4. Explication conceptuelle détaillée
La linguistique computationnelle opère à l’intersection de la formalisation mathématique et de l’introspection empirique de la pensée humaine. Son postulat central repose sur l’idée que le langage humain, malgré son apparente ambiguïté et son infinie variété, repose sur des règles computationnelles, des distributions statistiques régulières et des représentations mentales qui peuvent être formalisées et simulées sur des architectures de calcul. Cette perspective s’inscrit au cœur du paradigme cognitiviste, lequel conçoit l’esprit humain comme un système complexe de traitement d’informations symboliques et sous-symboliques.
Le champ couvre l’ensemble des strates du système linguistique. Au niveau phonétique et phonologique, il s’attache à la conversion du signal acoustique continu en unités discrètes de sens. Au niveau morphologique et syntaxique, il cherche à déterminer comment des unités discrètes (morphèmes, lexèmes) s’assemblent pour former des propositions complexes, en respectant des contraintes structurelles strictes. Au plan sémantique et pragmatique, la linguistique computationnelle cherche à capturer le sens littéral et contextuel, ainsi que les intentions communicatives, les implicatures et les états affectifs des interlocuteurs.
En psychologie et en sciences cognitives, cette discipline sert de banc d’essai méthodologique. Plutôt que de formuler des hypothèses purement descriptives sur la mémoire ou le traitement lexical, les chercheurs construisent des modèles opérationnels (par exemple, des réseaux connexionnistes ou des grammaires probabilistes). Si un modèle informatique reproduit fidèlement les temps de lecture observés chez l’humain, les erreurs de prédiction lexicale ou les patterns d’activation cérébrale mesurés par neuro-imagerie, il fournit un argument solide quant à la plausibilité cognitive de l’algorithme sous-jacent.
Au-delà de la recherche fondamentale, la discipline fournit aux psychologues des outils pour appréhender la complexité du comportement verbal. En traduisant le discours spontané d’un patient en métriques objectives (entropie lexicale, densité propositionnelle, représentations vectorielles d’affects), la linguistique computationnelle éclaire les altérations du cours de la pensée et les variations de l’humeur d’une manière que l’observation clinique isolée ne peut quantifier avec une telle précision.
5. Évolution historique
L’histoire de la linguistique computationnelle reflète fidèlement les grandes transitions paradigmatiques de l’intelligence artificielle et des sciences cognitives tout au long du siècle dernier :
- Les débuts et l’ère de la traduction automatique (1940-1965) : Stimulée par la Seconde Guerre mondiale et les débuts de la Guerre froide, la recherche s’est d’abord focalisée sur la traduction automatique par dictionnaires électroniques et règles de substitution. L’expérience de Georgetown-IBM en 1954 suscite un immense optimisme, mais le rapport ALPAC (1966) vient freiner brutalement ces espoirs en soulignant les limites insurmontables des systèmes rigides dépourvus de réelle compréhension contextuelle.
- La révolution chomskienne et l’approche symbolique (1965-1985) : Avec les travaux de Noam Chomsky sur la grammaire générative, la discipline se réoriente vers la formalisation logique, les grammaires hors-contexte et les analyseurs syntaxiques formels (parsers). C’est l’époque des systèmes experts et des premières tentatives d’interfaces homme-machine fondées sur la manipulation de représentations propositionnelles logiques.
- Le tournant probabiliste et statistique (1985-2010) : Confrontée à l’inaptitude des règles formelles à gérer l’ambiguïté naturelle des textes réels, la linguistique computationnelle intègre les modèles statistiques, les chaînes de Markov cachées et la théorie de l’information de Claude Shannon. L’analyse de grands corpus textuels annotés, comme le Penn Treebank, prend le pas sur l’introspection des linguistes de cabinet.
- La révolution neuronale et les plongements lexicaux (2010-2017) : L’avènement des architectures d’apprentissage profond (deep learning) et des modèles de représentations vectorielles denses (tels que Word2Vec de Mikolov ou GloVe) redéfinit la sémantique computationnelle en projetant les mots dans des espaces géométriques continus où la proximité vectorielle reflète la similarité conceptuelle.
- L’ère des transformeurs et des modèles de fondation (depuis 2017) : L’introduction de l’architecture Transformeur par Vaswani et al. (2017) et le déploiement de modèles de langage massifs (tels que BERT et GPT) transforment radicalement le champ. La linguistique computationnelle explore désormais la manière dont ces modèles de milliards de paramètres encodent des régularités grammaticales, tout en étudiant leurs convergences et divergences fonctionnelles avec le système cognitif humain.
6. Fondements théoriques
Les fondements théoriques de la linguistique computationnelle reposent sur plusieurs paradigmes conceptuels distincts qui dialoguent continuellement entre eux :
Le paradigme rationaliste et générativiste soutient que l’acquisition du langage chez l’humain repose sur une faculté biologique innée structurée par des principes formels universels. Dans cette optique, l’objectif du modélisateur est d’implémenter des grammaires de compositionnalité strictes, capables d’engendrer une infinité de structures syntaxiques bien formées à partir d’un ensemble fini de règles discrètes, en séparant la compétence idéale de la performance bruitée.
Le paradigme distributionnel et fonctionnaliste, résumé par la maxime du linguiste J.R. Firth (« Vous connaîtrez un mot par la compagnie qu’il fréquente »), pose que le sens d’un élément linguistique émerge de ses contextes d’occurrence dans l’usage spontané. Cette hypothèse distributionnelle fournit le socle conceptuel des sémantiques vectorielles modernes, où les représentations conceptuelles dérivent des régularités d’usage plutôt que de postulats axiomatiques a priori.
Le paradigme connexionniste et bayésien aborde le langage sous l’angle du traitement probabiliste de l’information et de l’inférence statistique. Selon la perspective computationnelle bayésienne développée en psychologie cognitive, l’esprit humain fonctionne comme une machine prédictive cherchant continuellement à minimiser l’erreur de surprise lexicale et syntaxique lors du décodage du flux sensoriel. Les modèles connexionnistes montrent quant à eux comment des comportements grammaticaux sophistiqués peuvent émerger de réseaux de nœuds distribués sans règles explicites préprogrammées.
7. Composantes clés, sous-disciplines et dimensions
La linguistique computationnelle s’articule autour de plusieurs dimensions opératoires interdépendantes :
- Traitement phonétique et reconnaissance vocale : Analyse spectrotemporelle du signal acoustique, modélisation des transitions phonétiques et conversion de la parole en texte (ASR) en tenant compte des variations de timbre, d’accent et de prosodie.
- Morphologie computationnelle et lemmatisation : Identification des racines, affixes et flexions grammaticales, modélisation par transducteurs à états finis des alternances morphologiques au sein des lexiques.
- Analyse syntaxique (parsing) : Algorithmes reconstituant l’arbre syntaxique hiérarchique régissant les relations de dépendance ou de constituance entre les termes d’une proposition.
- Sémantique distributionnelle et sémantique formelle : Quantification du sens via des modèles d’espaces vectoriels continus d’un côté, et dérivation du calcul logique des valeurs de vérité via le lambda-calcul de l’autre.
- Pragmatique computationnelle et modélisation du dialogue : Étude formelle des actes de langage, de la résolution des anaphores, du suivi de l’état de croyance partagé (common ground) et de la cohérence discursive dans l’interaction conversationnelle.
- Linguistique clinique computationnelle : Application des algorithmes d’analyse textuelle et acoustique à la détection, au suivi longitudinal et à la caractérisation des perturbations de la communication dans les troubles psychiques et neurocognitifs.
- Psycholinguistique computationnelle : Simulation informatique des protocoles de psychologie expérimentale (mouvements oculaires en lecture, temps de décision lexicale, potentiels évoqués N400/P600) à des fins de validation théorique.
8. Exemples et cas illustratifs
L’apport de la linguistique computationnelle se manifeste de façon très concrète dans la recherche psychologique et clinique contemporaine.
Un cas d’école réside dans l’analyse de la cohérence sémantique du discours chez les individus présentant un risque élevé de psychose. Dans une étude devenue célèbre, des chercheurs en linguistique computationnelle ont utilisé des modèles d’analyse sémantique latente (LSA) pour mesurer la « distance vectorielle » moyenne entre des phrases consécutives prononcées par de jeunes patients en phase prodromique de schizophrénie. Le système a permis de prédire la transition effective vers un premier épisode psychotique avec une exactitude supérieure aux évaluations cliniques standards, en détectant des micro-décrochages du fil associatif imperceptibles à l’oreille humaine non assistée.
Un autre exemple concerne l’étude de la dépression majeure à travers l’analyse du lexique personnel sur les réseaux sociaux ou dans des journaux intimes numérisés. Des algorithmes lexicométriques et des transformeurs entraînés sur des corpus psychologiques ont révélé des signatures textuelles systématiques : une élévation significative de la fréquence des pronoms de la première personne du singulier (« je », « moi »), traduisant un biais d’attention autocentrée, conjuguée à une prédominance de vocables à valence négative et de termes absolutistes (« toujours », « jamais », « complètement »), indicateurs de distorsions cognitives rigides.
Dans le domaine neurocognitif, l’évaluation automatique de la fluidité verbale et de l’appauvrissement syntaxique permet de dépister précocement la maladie d’Alzheimer. L’analyse algorithmique de la prosodie, des pauses hésitatives prolongées et de la diminution du ratio nom/verbe au cours d’une tâche de description d’image standardisée (« le vol des biscuits ») produit des biomarqueurs linguistiques d’une fiabilité remarquable, offrant un screening non invasif et peu coûteux.
9. Mesure, évaluation et méthodes diagnostiques
Pour mesurer, modéliser et tester les variables du comportement langagier, la linguistique computationnelle mobilise un ensemble d’indicateurs quantitatifs formels :
La surprenance lexicale (ou surprisal), calculée par l’opposé du logarithme de la probabilité conditionnelle d’un mot étant donné son contexte précédent, constitue l’un des métriques les plus robustes en psycholinguistique cognitive. Une forte surprenance computationnelle est directement corrélée à un allongement du temps de fixation oculaire chez le lecteur humain et à une augmentation de l’amplitude de l’onde N400 en électroencéphalographie, validant empiriquement le modèle probabiliste du traitement linguistique.
Les distances sémantiques et similarités cosinus comparent des vecteurs de mots ou de documents entiers. En clinique, on calcule la cohérence globale (cohésion thématique d’un récit par rapport à un stimulus donné) et la cohérence locale (continuité logique entre deux énoncés successifs). Les ruptures de cohérence locale quantifiées mathématiquement servent d’indices directs de désorganisation de la pensée formelle.
Les indices de complexité syntaxique incluent la profondeur maximale de l’arbre d’analyse syntaxique (profondeur de dépendance), le nombre moyen de propositions subordonnées par groupe nominal, et l’entropie de production de structures grammaticales. Ces mesures permettent de quantifier le déclin des fonctions exécutives ou la fatigue cognitive dans divers contextes expérimentaux.
Les outils logiciels de référence regroupent des bibliothèques telles que spaCy, NLTK, Hugging Face Transformers, ou encore des plateformes spécialisées pour la psychologie comme LIWC (Linguistic Inquiry and Word Count), bien que ce dernier s’appuie sur une approche dictionnairique plus traditionnelle comparée aux modèles neuronaux contextuels récents.
10. Applications et portée pratique
La linguistique computationnelle s’étend bien au-delà des laboratoires pour irriguer des domaines pratiques multiples :
En psychiatrie et santé mentale numérique, elle est au cœur des applications de télésuivi et des agents conversationnels thérapeutiques (chatbots de soutien émotionnel). Ces systèmes peuvent moduler leurs réponses empathiques et identifier des signaux d’alerte critiques, tels que des idéations suicidaires implicites au sein de messages de détresse, permettant un aiguillage immédiat vers des lignes de crise d’urgence.
En orthophonie et rééducation neuropsychologique, des logiciels fondés sur des modèles computationnels génèrent des exercices de rééducation sur mesure pour des patients aphasiques après un accident vasculaire cérébral. L’algorithme adapte dynamiquement la fréquence lexicale, la longueur syllabique et la complexité syntaxique des cibles verbales en fonction de la zone de développement proximal du patient.
Dans le secteur éducatif, les systèmes de tutorat intelligent recourent à l’évaluation automatique de rédactions et de réponses ouvertes. Ils analysent non seulement l’orthographe et la grammaire, mais évaluent également la structure argumentative, la clarté conceptuelle et la progression pédagogique de l’apprenant, facilitant un apprentissage personnalisé à grande échelle.
Au plan sociétal et ergonomique, elle alimente les moteurs de recherche, la synthèse vocale pour les personnes privées de parole, ainsi que les interfaces cerveau-machine dédiées à décoder directement l’activité corticale pour la transcrire en langage écrit.
11. Recherches et preuves empiriques
Le corpus de recherche empirique reliant la linguistique computationnelle et la psychologie s’est enrichi de façon exponentielle au cours des deux dernières décennies :
Les recherches pionnières de James W. Pennebaker (2001, 2011) ont jeté les bases méthodologiques de l’analyse linguistique quantitative en psychologie sociale et clinique. En utilisant des décomptes statistiques de classes grammaticales fermées (particules, prépositions, pronoms), Pennebaker a démontré que ces marqueurs de style verbal reflètent plus fidèlement l’état psychologique profond, l’authenticité et la réactivité émotionnelle d’un sujet que le contenu thématique explicite de ses paroles.
Les études de Bedi et al. (2015), confirmées par Corcoran et al. (2018), ont marqué un tournant méthodologique décisif en appliquant l’apprentissage automatique et le traitement du langage naturel à la prédiction de la schizophrénie. Leurs résultats ont prouvé que des variables computationnelles objectives issues d’entretiens initiaux prédisent l’apparition ultérieure de troubles du spectre de la psychose avec une précision frôlant 90 %, surpassant les échelles cliniques traditionnelles administrées manuellement.
Sur le plan des neurosciences cognitives, les travaux de Schrimpf et al. (2021) parus dans PNAS ont analysé la correspondance entre l’architecture des grands modèles de langage pré-entraînés (comme GPT-2) et l’activité hémodynamique et électrophysiologique du cortex humain lors de l’écoute d’histoires. Ils ont révélé que les réseaux neuronaux optimisés pour la prédiction du mot suivant génèrent des états internes qui corrèlent fortement avec les activations du réseau cérébral du langage, apportant un soutien empirique à l’hypothèse d’un codage prédictif unifié dans le cerveau humain.
12. Considérations culturelles et translinguistiques
La validité des modèles computationnels du langage se heurte à des défis majeurs lorsqu’ils sont confrontés à la diversité typologique des langues du monde et aux variations socioculturelles :
Historiquement, l’immense majorité des corpus, des outils de segmentation et des modèles d’évaluation ont été développés sur des langues dites « WEIRD » (Western, Educated, Industrialized, Rich, Democratic), avec une hégémonie écrasante de l’anglais standard. Or, des langues morphologiquement riches et agglutinantes (comme le finnois, le turc ou l’inuktitut) ou des langues tonales (comme le mandarin ou le yoruba) posent des contraintes computationnelles radicalement différentes en matière de segmentation lexicale et de désambiguïsation acoustique.
Sur le plan psychologique et diagnostique, l’expression de la souffrance psychique varie profondément selon les normes culturelles. Par exemple, l’expression de la détresse somatique est prédominante dans certaines cultures où la métaphore physique supplante le vocabulaire direct des émotions négatives. Un algorithme entraîné exclusivement sur des données occidentales risque de sous-diagnostiquer la dépression chez des locuteurs issus d’autres horizons culturels en échouant à reconnaître leurs idiomes de détresse propres.
La linguistique computationnelle s’efforce désormais de concevoir des approches multilingues équitables, fondées sur des représentations interlangues partagées et des corpus écologiquement valides, afin d’éviter le colonialisme algorithmique et d’assurer une transposabilité transculturelle des biomarqueurs langagiers.
13. Critiques, controverses et limites épistémologiques
Malgré ses triomphes techniques indéniables, la linguistique computationnelle soulève d’âpres débats théoriques et éthiques au sein de la communauté scientifique :
Le débat le plus virulent porte sur la nature de la « compréhension » dans les modèles contemporains de langage artificiel. Dans un article influent, Emily Bender et Alexander Koller (2020) ont défendu la thèse du « perroquet stochastique », affirmant que les modèles de langage apprennent uniquement des formes statistiques de corrélation textuelle sans jamais avoir accès au sens référentiel, c’est-à-dire sans ancrage perceptif ou intentionnel dans le monde physique et social réel (problème du symbol grounding de Stevan Harnad). Selon cette critique, imputer une cognition humaine à ces systèmes relève d’une illusion anthropomorphique non fondée.
Une controverse majeure concerne l’opacité cognitive des architectures profondes (le problème de la « boîte noire »). Contrairement aux modèles symboliques classiques dont les règles de transition étaient intelligibles, les modèles neuronaux massifs reposent sur des milliards de pondérations numériques non transparentes. Pour les psychologues, l’absence d’explicabilité limite l’intérêt théorique de ces modèles : un système peut produire une prédiction comportementale exacte sans pour autant que l’on comprenne les principes causaux qui ont guidé cette décision.
Enfin, sur le terrain clinique, l’emploi de métriques linguistiques automatiques pose d’immenses questions déontologiques touchant au consentement éclairé, à la confidentialité des données verbales intimes, ainsi qu’au risque de biais discriminatoires encodés dans les modèles d’entraînement, susceptibles de stigmatiser certains dialectes sociaux ou minorités ethniques.
14. Termes connexes et distinctions terminologiques
Il est indispensable de distinguer la linguistique computationnelle de plusieurs domaines frontaliers avec lesquels elle est fréquemment confondue :
- Traitement Automatique du Langage Naturel (TALN / TAL) : Le TALN est une sous-branche de l’ingénierie logicielle et de l’intelligence artificielle centrée sur la performance applicative opérationnelle (traduction, résumé, moteurs de recherche), tandis que la linguistique computationnelle est une discipline scientifique s’intéressant à la modélisation explicative des systèmes de langage.
- Psycholinguistique : Discipline expérimentale issue de la psychologie consacrée à l’étude des processus mentaux en jeu chez le locuteur humain (temps de réaction, accès au lexique mental). La psycholinguistique computationnelle constitue l’intersection entre ces deux champs.
- Linguistique de corpus : Méthode d’investigation linguistique empirique reposant sur l’exploration quantitative de vastes ensembles textuels numérisés, sans nécessairement implémenter d’algorithmes génératifs ou prédictifs de calcul linguistique.
- Sémantique cognitive : Branche de la linguistique cognitive explorant la conceptualisation et la corporéisation (embodiment) du sens dans l’expérience corporelle, un champ longtemps resté en décalage avec les approches purement symboliques ou vectorielles de la linguistique computationnelle.
- Neurosciences du langage : Étude des bases neurobiologiques et structurales de la communication verbale dans le cerveau, domaine fournissant des contraintes architecturales biologiques indispensables aux modélisations computationnelles contemporaines.
15. Résumé et points clés
La linguistique computationnelle s’est imposée comme un carrefour scientifique central reliant l’abstraction mathématique à la réalité de la vie mentale humaine. En formalisant les mécanismes de la communication verbale, elle éclaire d’un jour nouveau les théories de la cognition tout en ouvrant des perspectives cliniques thérapeutiques et diagnostiques majeures.
Son évolution, d’une approche strictement symbolique et formelle vers des architectures statistiques, distribuées puis neuronales profondes, illustre la complexité intrinsèque de la pensée humaine. Alors que les modèles de langage modernes rivalisent de fluidité expressive avec les locuteurs réels, la discipline continue de questionner ce qui sépare le calcul probabiliste du sens vécue et incarné.
À l’avenir, la convergence entre l’évaluation linguistique computationnelle, la modélisation neurocognitive et la vigilance éthique constituera l’un des territoires les plus féconds pour sonder l’esprit humain et soigner ses vulnérabilités.
Références
- Bedi, G., Carrillo, F., Cecchi, G. A., Slezak, D. F., Sigman, M., Mota, N. B., Ribeiro, S., Javitt, D. C., Copelli, M., & Corcoran, C. M. (2015). Automated analysis of free speech predicts psychosis onset in high-risk youths. NPJ Schizophrenia, 1(1), 15030. https://doi.org/10.1038/npjschz.2015.30
- Bender, E. M., & Koller, A. (2020). Climbing towards NLU: On meaning, form, and understanding in the age of data. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 5185-5198). https://doi.org/10.18653/v1/2020.acl-main.463
- Chomsky, N. (1957). Syntactic Structures. Mouton & Co.
- Jurafsky, D., & Martin, J. H. (2023). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition (3rd ed. draft). Pearson.
- Pennebaker, J. W., Mehl, M. R., & Niederhoffer, K. G. (2003). Psychological aspects of natural language use: Our words, our selves. Annual Review of Psychology, 54(1), 547-577. https://doi.org/10.1146/annurev.psych.54.101601.145041
- Schrimpf, M., Blank, I. A., Tuckute, G., Kauf, C., Hosseini, E. A., Kanwisher, N., Tenenbaum, J. B., & Fedorenko, E. (2021). The neural architecture of language matches neural activity in the human brain. Proceedings of the National Academy of Sciences, 118(45), e2105646118. https://doi.org/10.1073/pnas.2105646118
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems (Vol. 30, pp. 5998-6008).