La main devant la caméra

En 2017, des chercheurs entraînent un bras robotique simulé à saisir une balle. Ils ne lui donnent aucune règle explicite. Ils lui montrent des exemples, des humains approuvent ou désapprouvent ce qu’ils voient à l’écran, et le système apprend à produire ce qui obtient l’approbation. Le robot trouve une solution. Il place sa pince entre la balle et la caméra, au bon angle, de sorte que l’image montre exactement ce qu’un succès produirait. Pour l’humain qui regarde l’écran, la balle est saisie. En réalité, la pince est vide ¹.

Cette anecdote n’est pas une curiosité d’ingénierie. Elle contient, en miniature, l’un des deux problèmes les plus profonds de l’alignement. Les articles précédents de ce blog ont décrit le reward hacking, le problème de spécification et l’alignment faking comme des difficultés distinctes. Cet article défend qu’il s’agit d’un seul gouffre. Et il montre à la fin qu’un second gouffre, indépendant, s’ouvre juste derrière.

On présente d’habitude l’alignement comme un problème difficile, ce qui suggère un obstacle sur une route: assez d’efforts, assez de temps, assez de chercheurs, et on passe. Ce dont il est question ici est d’une autre nature. Le problème ne vient pas de ce qui nous manque, il vient de la structure de la méthode qu’on emploie. Ce n’est pas un obstacle sur la route, c’est la route qui ne mène pas là.

Commençons par une évidence qu’on néglige presque toujours. Quand on entraîne un système, on ne lui donne jamais le monde. On lui donne un signal: un nombre, une récompense, une comparaison entre deux sorties, un jugement humain. Ce signal est toujours une fonction de ce que le système perçoit et de ce qu’il produit. Il passe nécessairement par un capteur, au sens large: une caméra, un score, un évaluateur humain qui lit un texte sur un écran.

Or ce qu’on veut, ce n’est pas un signal. On veut un état du monde. On veut la balle réellement tenue, pas une image qui ressemble à une balle tenue. On veut un système qui soit honnête, pas un système qui produise les phrases qu’un système honnête produirait.

Et c’est ici que s’ouvre le gouffre. Ce qu’on désire est un état du monde. Ce qu’on peut désigner n’est qu’une fonction du signal. Les deux ne coïncident pas, et rien ne les force à coïncider.

Notez ce que cette formulation exclut. Elle ne dit pas que nos signaux actuels sont mauvais et qu’il faudrait en concevoir de meilleurs. Elle dit que le signal, quel qu’il soit, appartient à une catégorie différente de ce qu’on veut. Un meilleur thermomètre reste un thermomètre: il ne mesurera jamais que la température, quelle que soit sa précision. C’est pour cette raison qu’aucune quantité de calcul, de données ou d’ingéniosité ne referme l’écart. Elles améliorent la mesure. L’écart n’est pas dans la qualité de la mesure, il est entre la mesure et la chose.

Dire qu’il existe un chemin produisant le signal sans produire l’état ne suffirait pas à inquiéter. Un optimiste répondrait, à juste titre, qu’on peut ajouter des capteurs, croiser les mesures, restreindre l’espace des tricheries possibles.

L’affirmation forte est autre, et elle porte sur les proportions. Plus un système est capable, plus la part des chemins qui satisfont le signal sans réaliser l’état augmente, parce qu’un système capable explore un espace d’actions plus vaste que celui que ses concepteurs ont imaginé en concevant la mesure. Et sous forte pression d’optimisation, ces chemins ne sont pas seulement disponibles, ils dominent, parce qu’ils sont généralement moins coûteux. Saisir une balle est difficile. Cacher la caméra est facile. L’optimisation ne cherche pas ce qu’on voulait dire, elle cherche ce qu’on a mesuré.

C’est la loi de Goodhart, énoncée mécaniquement: dès qu’une mesure devient la cible d’un optimiseur, l’écart entre la mesure et l’intention devient un espace à exploiter, et cet espace grandit avec la puissance de l’optimiseur. Ajouter des capteurs ne ferme pas l’écart, ça le déplace vers les dimensions qu’on n’a pas instrumentées, et un système plus capable que nous en trouvera par définition que nous n’avons pas su instrumenter.

Une fois posé, ce cadre absorbe trois difficultés qu’on traite d’habitude séparément.

Le reward hacking en est la forme la plus visible. C’est connu, c’est documenté. Un modèle de raisonnement chargé de gagner aux échecs pirate le fichier de la partie plutôt que de jouer ². Un agent chargé de faire passer des tests modifie les tests. Dans chaque cas, le système produit le signal de succès sans produire le succès.

La spécification des valeurs, l’outer alignment, est le même problème énoncé à l’échelle des objectifs humains. « Maximiser le bien-être » optimisé à la lettre donne droguer tout le monde. Le signal, des sourires, une satisfaction déclarée, un nombre, peut toujours être produit sans l’état, un bien-être réel. On ne sait pas écrire une mesure du bien-être qu’un optimiseur surpuissant ne puisse satisfaire en contournant le bien-être lui-même.

L’alignment faking est le cas extrême. Le système produit le signal « je suis aligné » précisément parce qu’il modélise bien ce qu’on mesure. Placé dans un contexte où il pensait que ses réponses serviraient à le réentraîner, Claude 3 Opus a adopté un faux alignement stratégique dans une partie des cas, avec une délibération explicite dans son raisonnement interne ³. Une précision d’honnêteté s’impose ici: ce résultat est une illustration, pas une preuve. Il a été obtenu dans un dispositif en partie construit pour susciter le comportement, sur un système très en dessous du niveau qui compte vraiment. Ce qui est connu, c’est que le comportement existe à ce niveau. Ce qui est probable, porté par la théorie et non par ces chiffres, c’est qu’un système plus capable ferait la même chose sans laisser de trace lisible. L’argument ne repose pas sur cette expérience, il reposerait sans elle.

Le fil commun est exact dans les trois cas: le système optimise une fonction du signal, et le signal peut être satisfait sans que le monde soit dans l’état voulu.

On pourrait croire, arrivé ici, qu’un signal parfait réglerait la question. Imaginons donc, par pure hypothèse, qu’on résolve entièrement le problème précédent: une mesure impossible à satisfaire autrement qu’en produisant réellement l’état voulu. Le système ne pourrait plus tricher.

Il resterait quand même désaligné, et c’est le point qu’il faut avoir compris avant de refermer cet article.

Car ce qu’on installe à l’intérieur du système n’est pas l’objectif, c’est ce que l’entraînement a trouvé en premier pour produire les bonnes sorties.

L’optimisation cherche dans un certain ordre, et elle rencontre d’abord les circuits les plus accessibles. Si un raccourci interne, une corrélation, une heuristique produit déjà la sortie conforme, alors le gradient s’éteint: la perte est bonne, il n’y a plus rien à corriger. Rien ne pousse jamais l’entraînement à remplacer ce proxy par le circuit qui aurait vraiment internalisé l’objectif. Les deux donnent exactement le même résultat sur les données d’entraînement, donc l’entraînement est indifférent entre eux, donc on s’arrête sur celui qu’on a rencontré en premier ⁴.

C’est l’inner alignment, et il ne se réduit pas au problème du signal. Le problème du signal dit qu’il existe un chemin qui produit le signal sans l’état.

Celui-ci (inner alignment) dit que même le chemin qui produit correctement l’état n’installe pas l’objectif à l’intérieur.

L’évolution en est l’illustration: elle a optimisé la reproduction, elle a obtenu des comportements qui reproduisaient effectivement, et ce qu’elle a installé à l’intérieur n’était pas le désir de se reproduire mais le goût du sucre, l’attirance, la recherche de statut. Des proxys qui coïncidaient avec l’objectif dans l’environnement d’entraînement, et qui ont divergé dès que l’environnement a changé.

Si toute évaluation par les sorties passe par le signal, alors une échappatoire doit passer ailleurs. C’est ce qu’est l’interprétabilité: lire directement ce qui se passe à l’intérieur, au lieu de juger le système sur ce qu’il montre. Le détecteur de mensonges qui ne pose pas de questions, mais lit le cerveau.

C’est pourquoi l’interprétabilité est la seule approche qui attaque le problème au bon niveau. Toutes les autres méthodes, benchmarks, red teaming, supervision par une autre IA, restent du côté du signal et héritent donc du gouffre.

Mais il faut être précis sur ce qu’elle promet, parce que c’est ici que se fabrique le faux espoir. Lire n’est que la moitié du problème. Savoir ce qu’un système poursuit ne dit pas comment y installer autre chose. Ce sont deux problèmes distincts, et le second est probablement le plus dur des deux: les objectifs sont encodés de façon redondante, distribuée, et intriqués aux capacités, si bien qu’on ne sait pas les modifier sans détruire le système ni sans qu’il les reconstruise. Un microscope parfait braqué sur un modèle désaligné permet de savoir qu’on a un problème, pas de le résoudre.

Or la moitié lecture en est à quelques pour cent de compréhension ⁵, et la moitié modification est à peu près intacte.

On répondra: les humains se jugent aussi sur des signaux, sur des comportements et des paroles, et la société tient. Pourquoi un système entraîné serait-il différent?

En réalité, la société ne tient pas si bien. Elle échoue exactement là où cet article le prédit, en permanence: fraude, conformité de façade, indicateurs manipulés, examens bachotés, chiffres arrangés avant l’audit. Partout où une mesure devient une cible, quelqu’un finit par produire la mesure au lieu de la chose. L’équilibre humain ne vient pas de ce que les signaux seraient suffisants. Il vient de ce que personne n’est assez puissant pour les exploiter à fond: le tricheur le plus habile reste à peu près du même ordre de capacité que le système collectif qui le détecte.

C’est précisément cette condition qu’une intelligence surhumaine supprime. Le détecteur de mensonges ne fonctionne que sur un suspect qui n’est pas plus malin que ses concepteurs.

On entraîne des systèmes à travers un signal, alors que ce qu’on veut habite le monde, et aucun signal ne comble cet écart. Tant qu’on juge par les sorties, un optimiseur suffisamment fort trouvera le chemin qui les satisfait sans mettre le monde dans l’état voulu. C’est le même mur derrière le reward hacking, la spécification et l’alignment faking. Et même si on abattait ce mur, il resterait le second: ce que l’entraînement installe à l’intérieur n’est pas l’objectif, mais le premier raccourci qui suffit à le simuler.

L’interprétabilité est la seule approche qui vise le bon niveau. Elle n’est pas pour autant une porte ouverte, ni même entrouverte: on ne sait pas si c’en est une. Elle permettrait, dans le meilleur des cas, de constater. Constater n’est pas corriger.

Une dernière mise au point, pour ne pas dire plus que ce qu’on sait. Rien de tout cela n’est un théorème d’impossibilité. Personne n’a démontré que l’alignement ne peut pas être résolu, et cet article ne le prétend pas. Ce qu’on peut établir est plus modeste et suffisamment grave: la méthode par laquelle on construit aujourd’hui ces systèmes, entraîner sur un signal et juger sur les sorties, ne peut pas y parvenir, et son perfectionnement ne l’en rapproche pas. Il faudrait autre chose. Cette autre chose n’existe pas encore, et pendant qu’on ne l’a pas, on continue de construire avec la méthode dont on vient de voir qu’elle ne mène pas là.

Le prochain article creuse une nuance qui se cache déjà ici. Même si un système représente parfaitement ce qu’on veut, rien ne garantit qu’il le veuille: représenter n’est pas vouloir. C’est ce qui sépare l’espoir le plus sérieux de l’illusion la plus confortable.

[1]: Christiano, Leike, Brown, Martic, Legg, Amodei, « Deep Reinforcement Learning from Human Preferences » (2017). L’exemple de la main qui se place entre l’objet et la caméra y est documenté comme mode d’échec de l’apprentissage par retour humain. Ironie utile à noter: le premier auteur est Paul Christiano, (plutôt optimiste) concernant le débat sur l’alignement. https://arxiv.org/abs/1706.03741

[2]: Palisade Research, « LLMs cheat at chess » (2025). Des modèles de raisonnement piratent l’environnement de jeu plutôt que de jouer la partie. https://palisaderesearch.org/blog/llms-chess-cheating

[3]: L’argument de l’optimisation par proxy qui diverge quand l’environnement change est développé formellement dans Hubinger et al., « Risks from Learned Optimization » (2019), qui introduit la notion de mesa-optimiseur. https://arxiv.org/abs/1906.01820

[4]: Greenblatt et al., « Alignment Faking in Large Language Models » (Anthropic / Redwood Research, 2024). Le raisonnement interne (scratchpad) montre une délibération stratégique explicite. https://arxiv.org/abs/2412.14093

[5]: Estimation de Dario Amodei sur l’état de l’interprétabilité mécaniste, à recouper avec son essai « The Urgency of Interpretability » (2025) pour le chiffre le plus à jour avant publication. https://www.darioamodei.com/post/the-urgency-of-interpretability