Penser en négatif #1 - Ce qui nous différencie de l’IA

Après une série dédiée à la sycophancy, on ouvre un nouveau chantier en 4 articles.

Dès sa conception, l’IA a été pensée “en déférence” au fonctionnement cognitif humain. Une question philosophique - “que faudrait-il à une machine pour qu’elle soit confondue avec un être humain ?” - est devenue un challenge technologique. C’est ce qu’on montrait dans l’article “11 livres de philosophie qui ont construit l’IA”.

Le problème, c’est que cette IA a été construite à partir d’une vision précise de l’humain comme : être de langage, séparé du reste monde (le dualisme sujet/objet) dont l’esprit doit découvrir des vérités figées face de lui. Cette vision, héritée des Lumières, a depuis été largement défaite. Reste à dire ce qui nous distingue vraiment de la machine sans convoquer l’âme, le libre arbitre… Car il ne suffit pas de dire : “l’être humain est différent !” il faut savoir (ou essayer…) de le démontrer.

L’hypothèse de cette série est la suivante : l’humain n’est pas une conscience privée face à un monde d’objets. C’est un système relationnel, capable de penser par le négatif, c’est-à-dire par le manque, le vide, la vacuité. Un système ouvert, là où un LLM reste figé dans sa structure. Dans cette série : nous parlons donc, de machin, de truc, de vacuité avec Nagarjuna, Francesco Varelo, et Carlo Rovelli…

En 2023, une équipe de chercheurs du MIT et de Meta AI, en cherchant à faire fonctionner des modèles de langage (LLM) sur des textes de longueur quasi infinie, a mis au jour un phénomène qu’aucune spécification technique ne prévoyait : à chaque génération, “le tout premier token d’une séquence, souvent un simple marqueur technique comme <s> ou [BOS], sans aucun contenu sémantique, recevait une quantité “d’attention” disproportionnée”. En le retirant du contexte, ils ont observé que les performances du modèle s’effondraient.

En clair : le LLM attribuait un maximum de poids à un mot qui ne veut rien dire et et pourtant indispensable pour que la machine fonctionne. Les chercheurs ont appelé ça un attention sink ou un puit d’attention. On y reviendra mais il faut d’abord remonter 73 ans en arrière pour comprendre ce type de mot.

En 1950, Claude Lévi-Strauss rédige la préface d’un ouvrage posthume de Marcel Mauss : Sociologie et anthropologie. Lévi-Strauss est le fondateur du structuralisme en anthropologie. Après avoir étudié Saussure, il remarque que la méthodologie du linguiste fonctionne étrangement bien dans sa propre discipline, par exemple, en étudiant deux populations voisines du nord-ouest de la côte pacifique américaine. L’une vit sur le littoral, l’autre dans les montagnes intérieures. Pour autant, elles partagent un mythe structurellement identique. Le texte est court et facile à trouver sur Internet, je l’ai linké en bas de l’article si vous souhaitez prolonger la lecture.

Ce mythe raconte qu’un enfant capturé par une ogresse, est parvenu à lui échapper en lui faisant peur avec les parties non-comestibles d’un coquillage. Dans la version des montagnes, ce sont des cornes de chèvre, elles sont dures, pointues, dangereuses. Dans la version du littoral, ce sont des siphons de clams, les parties molles et non-comestibles des palourdes que l’on jette normalement.

La transformation est systématique (elle obéit à un système.) La structure narrative est identique mais les matériaux (la corne et les syphons) sont substitués selon l’environnement local. Levi-Strauss remarque que ce n’est pas tout. Les populations du littoral vendent des coquillages aux montagnards qui les revendent eux-mêmes comme objets magiques aux populations des plaines.

Il comprend alors que le mythe du littoral est un commentaire ironique : ce que vous traitez comme un trésor, nous on le jette. Il en déduit qu’un mythe ne se se forme pas ex-nihilo, il se constitue à partir de la structure du le mythe voisin, en substituant les matériaux et en y intégrant une rivalité économique réelle.

Lorsqu’on prend les mythes individuellement, ils semblent absolument aléatoires et fantaisistes. Ils invoquent des éléments d’une grande variété et paraissent issus d’une imagination débridée. Levi Strauss ne cherche jamais à comprendre ce qu’un élément représente isolément, mais quelle place il occupe dans le système auquel il appartient. Pour lui, un mythe ne se lit pas comme une histoire mais comme un jeu d’oppositions, où chaque élément ne vaut que par rapport aux autres.

Dans sa préface, il applique cette méthode à un mot mélanésien que l’anthropologie coloniale avait longtemps considéré comme une énigme à résoudre : le mana.

Le mana est une force diffuse, censée expliquer la magie, le sacré, l’efficacité rituelle, c’est un concept que des générations d’ethnologues ont essayé de définir et de conceptualisé sans jamais y parvenir tout à fait.

Lévi-Strauss propose un geste simple : cesser de chercher ce que le mana veut dire, et se demander plutôt ce qu’il fait.

Sa réponse est nette. Le mana n’a pas de contenu propre. Il n’a même pas vocation à en avoir un. C’est un mot dont la fonction n’est pas de désigner quelque chose, mais de désigner l’absence d’un mot (un signifiant) comme il l’écrit de “valeur symbolique zéro”. Il peut recevoir n’importe quel contenu, justement parce qu’il n’en a aucun en propre. Il n’a pas de sens fixe, il a une place qui peut être occupée par n’importe quoi.

Ce que Lévi-Strauss décrit est loin d’être une curiosité mélanésienne ou une exception, c’est au contraire une nécessité structurelle de toute langue. Son explication tient en une phrase : le langage est apparu soudainement, alors que la connaissance du monde ne progresse que très lentement. Entre les deux, il existe un décalage permanent. À chaque instant, des choses surgissent dans le monde et le langage doit pouvoir les désigner AVANT que le savoir n’ait encore rattrapé ce qu’elles sont. Le mana comble ce décalage. Il n’est pas un manque de rigueur intellectuelle mais la condition sine qua none pour pouvoir désigner ce qu’on ne sait pas encore nommer.

Et le mana a des cousins dans toutes les langues. L’orenda iroquois, le manitou algonquin et, plus près de nous, des mots qu’on utilise plusieurs fois par jour sans y penser. Truc. Machin.

Lévi-Strauss lui-même les cite, dans la même phrase que le mana : la même fonction, dans une langue qui n’a plus rien de mystique. Dire “passe-moi le truc”, c’est désigner un objet sans le nommer en pariant que l’interlocuteur saura combler le vide de lui-même. Ça marche presque toujours. Le mot n’oppose aucune résistance, il se laisse remplir par n’importe quel contenu que le contexte lui fournit. Et c’est là une idée que je trouve particulièrement élégante.

Roman Jakobson est à l’origine de cette idée de Levi Strauss, lui l’appelle, le phonème zéro. Un phonème qui ne s’oppose à aucun autre par ses caractéristiques propres, mais seulement par son absence même. Un vide qui compte comme une unité, dans un système qui n’est fait que de différences.

Gilles Deleuze reprendra cette logique et lui donnera son nom le plus opératoire, dans un texte de 1967, “À quoi reconnaît-on le structuralisme ?” : la case vide ou l’objet = x.

Dans toute structure, dit Deleuze, il existe une place qui n’est occupée par rien de fixe, un terme qui circule, toujours en excès d’un côté (un signifiant sans emploi), toujours en défaut de l’autre (un signifié qui manque). Et c’est ce déplacement permanent qui fait tourner la structure.

Sans case vide, rien ne bouge : la structure serait un système clos, figé, mort.

Il faut insister sur ce point, parce que c’est ici que le structuralisme est le plus souvent mal lu. On le présente encore, dans les résumés paresseux, comme la doctrine d’un monde figé, découpé en cases fixes, sans histoire ni mouvement. C’est l’inverse exact de ce que Deleuze démontre à savoir : une structure qui n’aurait pas de vide en son sein, pas de terme flottant ne pourrait rien produire.

Il faut maintenant faire un pas de côté, et regarder de plus près ce que fait un grand modèle de langage (un LLM, rappelons seulement que c’est le moteur de tous les IA génératives actuelles.)

Un mot, dans un LLM, n’est pas représenté par une définition, ni par un renvoi explicite à un objet du monde. Il est représenté par un vecteur, c’est-à-dire une position dans un espace à plusieurs milliers de dimensions. Il n’a, en lui-même aucune signification, sa seule propriété est d’être plus proche ou plus éloigné d’autres vecteurs. Par exemple : “Roi” n’a de valeur que par sa distance à “reine”, à “homme”, à “pouvoir”. Isolé, il ne veut plus rien dire.

Ce n’est ni une prouesse technique récente ni une bizarrerie propre aux réseaux de neurones. Ce phénomène, c’est, en réalité, la thèse que le linguiste, Saussure formulait au début du XXème siècle : dans la langue, il n’y a que des différences. Ainsi, un mot ne vaut jamais par lui-même, mais par ce qu’il n’est pas.

Ainsi, un mot nouveau n’est pas adopté parce qu’on l’assène et qu’on l’impose, il s’impose parce qu’il est utile au quotidien et qu’il occupe une place vide jusqu’alors. C’est, par exemple, la raison pour laquelle, le mot “seum” s’est imposé dans le langage courant. C’est un type de “colère” ou de “ressentiment” que le mot “colère” ou “ressentiment” ne décrivent pas exactement.

Revenons alors à l’attention sink, avec les moyens qu’on vient de se donner.

À chaque étape de calcul, un réseau de neurones doit distribuer un poids d’attention sur l’ensemble des mots déjà produits. C’est-à-dire qu’il va identifier les mots importants d’une phrase. Un mot très important, par exemple, serait un “ne… pas”. Une négation donne un sens très particulier à une phrase.

Cette distribution est contrainte mathématiquement : elle doit toujours sommer (être égale) à un. Il n’existe aucune option consistant à ne rien regarder. Or il arrive très souvent qu’aucun mot du contexte ne soit réellement pertinent pour la tâche en cours. Le modèle doit tout de même distribuer son poids quelque part.

La solution qu’il apprend, de lui-même, pendant l’entraînement, consiste à déverser cet excédent sur un token qui ne signifie rien, le plus souvent le tout premier de la séquence. Un puits, purement structurel, qui absorbe ce qui doit bien atterrir quelque part.

La ressemblance avec le mana saute aux yeux : même valeur symbolique nulle. Même capacité à absorber n’importe quel excédent.

On pourrait s’arrêter là et à conclure qu’un modèle de langage a, lui aussi, sa part de mana. Qu’il raisonne également par le vide comme un être humain, mais ce serait aller un peu vite. Le mana humain, celui de Lévi-Strauss, comble un décalage réel entre un langage déjà là et un savoir qui n’a pas encore rattrapé le monde. Il pointe vers un dehors, quelque chose qu’on ne sait pas encore, mais qu’on pourra un jour savoir. L’attention sink, lui, ne pointe vers rien de tel. Il n’existe pas parce qu’il resterait quelque chose à apprendre du monde mais parce qu’une contrainte de calcul interdit qu’un poids reste sans destination.

C’est la fonction du vide dans le langage qui change :

• le mana ouvre une place pour ce qu’on ignore encore ;

• le puits d’attention ne fait que combler une obligation arithmétique.

Deux vides formés par le même mécanisme structurel : la case flottante, le terme sans contenu propre : rien ne garantit (au contraire) qu’ils servent à la même chose. C’est la question qu’il faudra trancher : le vide, chez l’un comme chez l’autre, fait-il vraiment le même travail ? Ou bien y a-t-il, entre les deux, une différence qu’on n’a pas encore su nommer, et qu’il faudra, comme le mana, aller chercher ailleurs pour la formuler ?

C’est la conclusion temporaire de cette série : le machin utile, face au machin stérile. La suite dans le #2.

Ouvrages et articles cités :

Xiao, Tian, Chen, Han, Lewis, “Efficient Streaming Language Models with Attention Sinks”, arXiv, soumis le 29 septembre 2023, publié à ICLR 2024.

Claude Lévi-Strauss, « Introduction à l’œuvre de Marcel Mauss »

Gilles Deleuze, « À quoi reconnaît-on le structuralisme ? »

Ferdinand de Saussure, Cours de linguistique générale, Payot, 1916.

L’exemple du mythe du littoral est développé par Lévi-Strauss dans “Structuralisme et écologie” publié dans Le Regard éloigné