« Les experts s'en occupent »

C’est la phrase apaisante et démobilisatrice. Elle ne nie pas le problème. Elle le délègue. « Des gens très intelligents travaillent là-dessus, ce n’est pas à moi de m’en inquiéter. » Le raisonnement paraît raisonnable, presque modeste. Sauf qu’il repose sur deux suppositions cachées, jamais énoncées, et toutes les deux fausses : qu’ils sont assez nombreux, et qu’ils sont sur la bonne voie. Une fois ces deux suppositions exposées, la réassurance s’effondre.

Commençons par le glissement le plus discret. « Les experts s’en occupent » est vrai au sens littéral : des chercheurs travaillent sur l’alignement de l’IA. Mais la phrase ne s’arrête pas à ce constat, elle transporte une conclusion : « donc ce sera réglé ». Et cette conclusion ne suit pas.

Travailler sur un problème ne garantit pas qu’on le résoudra à temps, ni qu’on le résoudra du tout. Des milliers de chercheurs travaillent sur le cancer depuis cinquante ans. On a fait des progrès réels, et le cancer tue toujours. La différence cruciale, c’est que sur l’alignement, les chercheurs eux-mêmes disent qu’ils ne savent pas faire. Ce ne sont pas les alarmistes extérieurs qui l’affirment, ce sont les équipes de sécurité des laboratoires de pointe. Anthropic écrit que personne ne sait aujourd’hui entraîner des systèmes très puissants pour qu’ils soient honnêtes et inoffensifs [1]. Quand celui qui « s’en occupe » vous dit lui-même qu’il n’a pas de solution, « ils s’en occupent » cesse d’être rassurant.

Reprenez l’avion de l’article sur l’incertitude. Les ingénieurs sont au travail, penchés sur la question de la sécurité, c’est indéniable. Mais à la question « est-ce que l’avion est sûr ? », ils répondent « on ne sait pas encore, on y travaille ». Personne ne trouve cette réponse rassurante au moment d’embarquer. « On s’en occupe » et « c’est sous contrôle » sont deux phrases différentes, et la première ne contient pas la seconde.

La deuxième supposition cachée est numérique. « Les experts » évoque une armée de spécialistes mobilisés. La réalité est un déséquilibre vertigineux.

Il faut distinguer deux populations qu’on confond constamment. Il y a les chercheurs en capacités, ceux qui rendent les systèmes plus puissants : des dizaines de milliers de personnes, les budgets les plus massifs de l’histoire de la technologie, des centaines de milliards de dollars investis par an [2]. Et il y a les chercheurs en alignement, ceux qui travaillent à rendre ces systèmes contrôlables : quelques centaines à un millier de personnes selon les estimations, avec une fraction infime des financements. L’ordre de grandeur du déséquilibre, entre l’effort consacré à accélérer et celui consacré à sécuriser, est de l’ordre du millier pour un [3]. Ce n’est pas une course serrée que les experts sont en train de gagner. C’est une poignée de gens qui courent derrière un train.

En France, le nombre de personnes travaillant à temps plein sur ces questions reste très faible, sans commune mesure avec les effectifs consacrés au développement des capacités.

« Les experts s’en occupent » donne l’image d’une institution qui veille. L’institution n’existe pas. Il y a des individus, peu nombreux, sous-financés, et qui le disent.

Reste la partie la plus inconfortable, et il faut la manier avec précaution pour ne pas tomber dans la facilité. Il existe un schéma dans la répartition des opinions d’experts, et ce schéma devrait au minimum vous rendre méfiant envers le sentiment de consensus rassurant.

Les alarmes les plus fortes viennent souvent de gens qui n’ont rien à y gagner, ou qui ont quelque chose à y perdre. Geoffrey Hinton a quitté Google en 2023 précisément pour pouvoir parler librement du danger [4]. Jan Leike a démissionné avec fracas de la direction de l’équipe de superalignement d’OpenAI, en déclarant publiquement que la sécurité y était passée au second plan derrière les produits [5]. À l’inverse, une grande partie des voix rassurantes appartient à des gens dont la carrière, le salaire ou l’identité professionnelle dépendent de la poursuite du développement.

Soyons clairs sur ce que cela prouve et ne prouve pas. Les incitations ne disent pas qui a raison. Un chercheur de laboratoire peut avoir des incitations à minimiser et avoir raison quand même ; il faut évaluer ses arguments, pas son employeur. Mais les incitations expliquent pourquoi « regardez comme les experts sont calmes » n’est pas le signal de sécurité qu’il paraît être. Le calme est concentré exactement là où l’intérêt à rester calme est le plus fort. Quand une partie est payée pour continuer et l’autre parle en y perdant, l’apparente sérénité du milieu n’est pas une donnée neutre. Et il y a un détail révélateur : l’alarme est socialement coûteuse, elle vaut à ceux qui la sonnent l’étiquette de catastrophistes. Que des chercheurs de premier plan la sonnent quand même, contre leur propre intérêt de réputation, est en soi une information.

L’objection la plus forte contre tout ce qui précède est légitime : invoquer les incitations est un procédé dangereux. C’est la porte ouverte à disqualifier n’importe quel expert gênant en le déclarant acheté, ce qui est exactement le genre de raisonnement paresseux que ce blog combat ailleurs.

C’est juste, et c’est pour ça qu’il faut appliquer l’argument symétriquement et avec prudence. Le point n’est pas « les optimistes sont corrompus, donc ils ont tort ». Le point est plus étroit : « les experts s’en occupent » s’appuie sur une impression de consensus tranquille, et cette impression n’est pas fiable, parce qu’elle est produite par une population dont une partie a un intérêt direct à la tranquillité. La conclusion correcte n’est donc pas « croyez les pessimistes plutôt que les optimistes ». C’est « ne vous fiez pas au sentiment de consensus, allez voir les arguments vous-même ». L’argument des incitations ne remplace pas l’examen, il le rend nécessaire.

« Les experts s’en occupent » accomplit, en une formule, le travail d’externalisation que chacun aimerait pouvoir faire : confier son jugement à un groupe qu’on suppose nombreux et sur la bonne voie, pour pouvoir cesser d’y penser. Les deux suppositions sont fausses. Le groupe est minuscule, et il déclare lui-même ne pas avoir de solution. Déléguer son inquiétude à des gens qui ne dorment pas tranquilles n’est pas de la confiance. C’est un soulagement qu’on s’accorde en regardant ailleurs.

Trois formules, trois portes de sortie. « Trop d’incertitude pour s’inquiéter », « c’est du complotisme », « les experts s’en occupent ». Elles ont l’air d’arguments différents, mais elles font toutes la même chose : fournir une raison de ne pas examiner le dossier. C’est leur fonction commune, et c’est pourquoi elles se ressemblent une fois qu’on les a vues à l’œuvre. La seule réponse, à chaque fois, est la même : regarder les arguments. Ce blog est là pour ça.

Notes

[1] Anthropic, Core Views on AI Safety. L’entreprise reconnaît que personne ne sait, à ce jour, entraîner des systèmes très puissants pour qu’ils soient fiablement utiles, honnêtes et inoffensifs. https://www.anthropic.com/news/core-views-on-ai-safety

[2] Stanford HAI, AI Index Report 2025, sur les niveaux d’investissement privé dans l’IA, de l’ordre de plusieurs centaines de milliards de dollars par an. https://hai.stanford.edu/ai-index/2025-ai-index-report

[3] Ordre de grandeur, pas mesure exacte. L’estimation d’un ratio d’environ mille pour un entre l’effort sur les capacités et l’effort sur la sécurité est défendue notamment par Stuart Russell. Le nombre de chercheurs en alignement (quelques centaines à un millier) est lui aussi une estimation, pas un décompte officiel. https://vcresearch.berkeley.edu/news/how-keep-ai-killing-us-all

[4] Geoffrey Hinton a quitté Google en mai 2023 pour parler librement des risques de l’IA. Prix Nobel de physique 2024.

[5] Jan Leike, co-responsable de l’équipe de superalignement d’OpenAI, a démissionné en mai 2024 en déclarant publiquement que la culture et les processus de sécurité étaient passés au second plan derrière les produits.