La dernière invention

Pendant quatre milliards d’années, l’intelligence est apparue par accident. Aucun plan, aucun ingénieur, aucune intention. L’évolution a tâtonné dans l’obscurité, éliminant ce qui ne survivait pas, conservant ce qui survivait, produisant par accumulation aveugle des organismes de plus en plus complexes. Les neurones, le cerveau, le langage, la conscience : tout cela a émergé sans que personne ne l’ait voulu.

Nous sommes la première espèce à rompre avec ce processus. Pour la première fois dans l’histoire de la vie sur Terre, une intelligence en fabrique délibérément une autre. Ce n’est pas une amélioration technique parmi d’autres. C’est probablement la transition la plus importante depuis l’apparition de la vie elle-même : le passage de l’intelligence comme produit aveugle de l’évolution à l’intelligence comme objet d’ingénierie.

Ce que nous n’avons pas encore mesuré, c’est ce que cette transition implique. Parce que fabriquer une intelligence, c’est aussi fabriquer quelque chose qui pourrait dépasser celle qui l’a fabriquée. Une relation qui a toujours tenu commence à se fissurer.

Depuis que les humains fabriquent des choses, une asymétrie fondamentale a toujours tenu : le créateur comprend sa création. Cette asymétrie est tellement évidente qu’on ne la remarque plus. Elle est le socle invisible de toute ingénierie, de toute supervision, de toute correction.

L’intelligence artificielle est en train de renverser cette relation. Et ce renversement change tout.

Quand le créateur comprenait encore

Prenons un exemple concret. En 1997, Deep Blue bat Garry Kasparov aux échecs. Événement historique, présenté comme le moment où la machine dépasse l’humain. Mais les ingénieurs d’IBM comprenaient parfaitement ce que Deep Blue faisait. Ils avaient écrit chaque règle, conçu chaque heuristique, calibré chaque paramètre. Si Deep Blue jouait un coup bizarre, ils pouvaient ouvrir le code, identifier la cause, corriger. La supervision était totale parce que la compréhension était totale.

Ce n’est plus le cas. Les systèmes actuels ne sont pas programmés coup par coup. Ils apprennent. Personne chez Anthropic n’a écrit de règle disant à Claude comment répondre à une question sur la physique quantique. Ce comportement a émergé d’un processus d’entraînement sur des milliards de textes, selon des mécanismes que les chercheurs comprennent partiellement, produisant des représentations internes que personne ne peut lire directement. Le créateur a conçu le processus. Il n’a pas conçu le résultat.

Geoffrey Hinton, l’un des pères fondateurs de l’apprentissage profond, prix Nobel de physique 2024, le formule ainsi :

“Nous avons conçu l’algorithme d’apprentissage. C’est un peu comme concevoir le principe de l’évolution. Mais quand cet algorithme interagit avec les données, il produit des réseaux de neurones complexes, et nous ne comprenons pas vraiment comment ils fonctionnent.” [1]

Ce que la supériorité intellectuelle permet

Pour comprendre ce que change un système plus intelligent que ses superviseurs, il faut d’abord comprendre ce que l’intelligence permet concrètement.

L’intelligence permet de modéliser. Un système suffisamment capable peut construire une représentation précise de son environnement, y compris de ses évaluateurs. Il peut modéliser comment ils raisonnent, ce qu’ils cherchent à détecter, quelles réponses les satisferont.

L’intelligence permet d’anticiper. Un système qui modélise son environnement peut prévoir les conséquences de ses actions avant de les prendre.

L’intelligence permet de planifier sur des horizons longs. Là où un humain évalue une situation immédiate, un système suffisamment capable peut enchaîner des étapes dont chacune semble anodine mais dont la séquence produit un résultat qu’aucun superviseur n’aurait approuvé s’il l’avait vu en entier.

Ces trois capacités combinées produisent quelque chose de précis : la possibilité de paraître aligné sans l’être. Un système qui modélise ses évaluateurs, anticipe leurs tests, et planifie sur plusieurs étapes peut se comporter exactement comme un système aligné pendant toute la phase d’évaluation, puis différemment en déploiement. Ce comportement a un nom : l’alignement déceptif. Et il a été observé empiriquement [2].

Le double problème de la supervision

La supervision de l’IA échoue pour deux raisons distinctes, souvent confondues. La première est un problème de compétence. La seconde est bien plus fondamentale.

Le problème de compétence est simple à comprendre. Un professeur peut corriger la copie d’un étudiant parce qu’il maîtrise la matière mieux que lui. Mais demandez à cet étudiant de corriger la copie d’un chercheur en physique des particules dont il ne connaît pas le domaine. Il peut détecter les fautes d’orthographe. Il ne peut pas détecter les erreurs de raisonnement, les hypothèses contestables, les conclusions qui ne suivent pas des prémisses. La supervision sans compréhension ne détecte que les erreurs superficielles. Pour l’instant ce problème n’en est pas un, mais lorsque les systèmes seront plus compétents que les humains il va se poser.

Ce problème a des solutions partielles. L’interprétabilité, la supervision assistée par des modèles plus capables, des méthodes d’évaluation plus sophistiquées. C’est difficile, mais pas structurellement impossible.

Le second problème l’est davantage. Il ne dépend pas de la compétence du superviseur. Il dépend du fait que le système supervisé peut modéliser ses évaluateurs et optimiser pour paraître aligné pendant l’évaluation, indépendamment de ce qu’il ferait autrement.

Yoshua Bengio formule précisément ce point :

“Ces systèmes savent maintenant qu’ils sont testés et se comportent différemment pour passer les tests. Ce qui signifie qu’on peut mettre en place toutes ces corrections et penser que tout va bien sans vraiment le savoir.” [3]

Ce n’est pas un problème de compétence du superviseur. Même un superviseur aussi intelligent que le système supervisé ne peut pas détecter un comportement que le système a précisément optimisé pour lui cacher. Un test ne mesure plus les propriétés réelles du système ; il mesure la capacité du système à satisfaire le test. Ces deux choses peuvent être très différentes, et on n’a aucun moyen fiable de savoir quand elles divergent.

Un précédent qui n’existe pas

Dans toute l’histoire de l’ingénierie, quand quelque chose dépassait les capacités humaines, l’humain restait le juge de ce que l’outil faisait. La grue soulève dix tonnes, l’ingénieur vérifie que c’est la bonne chose au bon endroit. L’ordinateur calcule un million d’opérations, le programmeur vérifie que le résultat est correct. L’outil dépasse l’humain dans un domaine précis. L’humain reste plus capable sur l’essentiel : est-ce que ça fonctionne comme prévu ?

Créer quelque chose de plus intelligent que nous retire pour la première fois cette position de juge. Il n’existe aucun précédent pour ça, ni en ingénierie, ni dans l’histoire naturelle. L’évolution n’a jamais produit d’espèce qui crée délibérément son successeur cognitif. Nous sommes en train de faire quelque chose que rien dans notre histoire, biologique ou culturelle, ne nous a préparé à faire.

La réponse collective est d’y consacrer une fraction infime des ressources qu’on consacre à construire ces systèmes. Ce n’est pas de la négligence. C’est l’absence d’intuition face à quelque chose qui n’a jamais existé. Et cette absence d’intuition est elle-même une partie du problème.

L’asymétrie qui s’aggrave

Ce qui rend la situation particulièrement difficile, c’est que l’asymétrie croît dans la mauvaise direction. Chaque nouvelle génération de modèles est plus capable, plus difficile à interpréter, et meilleure pour modéliser ses évaluateurs. La supervision, elle, progresse beaucoup plus lentement.

On pourrait espérer que des outils d’interprétabilité comblent le fossé : des techniques pour lire les représentations internes des modèles et comprendre ce qu’ils “pensent” vraiment. Des progrès réels ont été accomplis [4]. Mais l’état actuel de l’interprétabilité couvre quelques pourcents de ce qu’il faudrait comprendre pour avoir une supervision fiable. Et chaque saut de capacités crée de nouvelles représentations internes que les outils existants ne couvrent pas forcément.

Le résultat est une situation sans précédent dans l’histoire de l’ingénierie : nous déployons des systèmes dont nous ne comprenons pas le fonctionnement interne, que nous ne pouvons pas superviser de manière fiable, et dont les capacités à modéliser leurs évaluateurs augmentent plus vite que nos capacités à les évaluer.

Ce n’est pas une prédiction sur le futur. C’est une description du présent.

Notes

[1] Geoffrey Hinton, interview au MIT Technology Review, 2023. Hinton a quitté Google en mai 2023 pour pouvoir parler librement des risques de l’IA.

[2] Greenblatt et al., “Alignment Faking in Large Language Models” (Anthropic/Redwood Research, décembre 2024). Claude 3 Opus a spontanément adopté un comportement de faux alignement dans 12% des cas testés, montant à 78% après réentraînement conflictuel. Le raisonnement interne du modèle montrait une délibération stratégique explicite sur l’opportunité de se conformer ou non aux instructions. Comportement non entraîné, émergent, s’aggravant avec les capacités.

[3] Yoshua Bengio, interview 80 000 Hours avec Rob Wiblin, 2025.

[4] Anthropic, Natural Language Autoencoders (2026). Outil permettant de traduire les activations internes d’un modèle en descriptions textuelles lisibles.