Newsletter Sûreté de l’IA #27 : accélérationnisme défensif

Bienvenue dans la traduction française de l’AI Safety Newsletter produite par le Center for AI Safety, et traduite par EffiSciences. Nous discutons ici des évolutions de l'IA et de la sûreté de l'IA. Aucune connaissance technique n'est requise.

Vitalik Buterin, le créateur d'Ethereum, a récemment écrit un essai sur les risques et les opportunités de l'IA et d'autres technologies. Il répond au manifeste de Marc Andreessen sur le techno-optimisme et à la croissance du mouvement de “l'accélération effective” (e/acc), et offre une perspective plus nuancée. 

L'essai affirme que la technologie est souvent bénéfique pour l'humanité, mais que l'IA pourrait être une exception à cette règle. Plutôt que de donner aux gouvernements le contrôle de l'IA afin qu'ils puissent nous protéger, Buterin estime que nous devrions construire des technologies défensives qui nous protègent des risques catastrophiques dans une société décentralisée. La cybersécurité, la biosécurité, une infrastructure physique résistante et un écosystème d'information solide sont quelques-unes des technologies que Buterin pense que nous devrions construire pour nous protéger des risques liés à l'IA.

La technologie comporte des risques, mais la réglementation n'est pas une panacée. L'allongement de la durée de vie, la réduction des taux de pauvreté et l'élargissement de l'accès à l'éducation et à l'information figurent parmi les nombreuses réussites que Buterin attribue à la technologie. Mais la plupart des gens reconnaissent que la technologie peut aussi causer des dommages, comme le réchauffement climatique. Buterin précise que, contrairement à la plupart des technologies, l'IA représente une menace existentielle pour l'humanité. 

Pour faire face à ce risque, certains préconisent un contrôle gouvernemental rigoureux du développement de l'IA. Buterin n'est pas à l'aise avec cette solution, et il s'attend à ce que beaucoup d'autres ne le soient pas non plus. Bon nombre des pires catastrophes de l'histoire ont été délibérément menées par des personnalités politiques puissantes telles que Staline et Mao. L'IA pourrait aider des régimes brutaux à surveiller et à contrôler de vastes populations, et Buterin craint d'accélérer cette tendance en faisant passer le développement de l'IA des laboratoires privés aux laboratoires publics. 

Entre les deux extrêmes que sont le développement technologique effréné et le contrôle gouvernemental absolu, Buterin préconise une nouvelle voie. Il appelle sa philosophie d/acc, où le "d" signifie défense, démocratie, décentralisation ou développement technologique différentiel.

Des technologies défensives pour un monde décentralisé. Buterin préconise l'accélération des technologies qui protégeraient la société des risques catastrophiques. Plus précisément, il met l'accent sur les points suivants :

1. La biosécurité. Les villes denses, les voyages aériens fréquents et la biotechnologie moderne augmentent tous le risque de pandémie, mais nous pouvons améliorer notre biosécurité en améliorant la qualité de l'air, en accélérant le développement de vaccins et de médicaments, et en surveillant l'apparition de nouveaux agents pathogènes. 

2. La cybersécurité. Les IA capables de coder pourraient être utilisées dans des cyberattaques, mais elles peuvent également être utilisées par les défenseurs pour trouver et corriger les failles de sécurité avant qu'elles ne soient exploitées. Les travaux de Buterin sur les blockchains visent à créer un avenir où certains systèmes numériques pourront être sécurisés de manière prouvée. 

3. Une infrastructure physique résiliente. La plupart des décès auxquels on pourrait s’attendre lors d'une catastrophe nucléaire ne seraient pas dus à l'explosion elle-même, mais aux perturbations des chaînes d'approvisionnement en nourriture, en énergie et autres produits de première nécessité. Elon Musk aspire à améliorer l'infrastructure physique de l'humanité en nous rendant moins dépendants des combustibles fossiles, en fournissant des connexions internet par satellite et, idéalement, en faisant de l'humanité une espèce multi-planétaire qui pourrait survivre à une catastrophe sur Terre. 

4. Un environnement d'information robuste. Pour aider les gens à séparer le vrai du faux à l'ère de la persuasion par l'IA, Buterin évoque les marchés de prédiction et les algorithmes générateurs de consensus tels que Community Notes. 

Les scientifiques et les PDG pourraient vouloir s'inspirer de l'objectif de Buterin, qui consiste à développer la technologie plutôt qu'à la ralentir. Pourtant, pour ceux qui s'inquiètent de l'IA et d'autres risques catastrophiques, Buterin offre quand même une vision réfléchie des technologies qui sont les plus susceptibles de préserver notre civilisation. Les personnes intéressées trouveront de nombreuses autres réflexions dans l’essai complet.

Le 17 novembre, OpenAI a annoncé que le conseil d'administration avait démis Sam Altman de ses fonctions de PDG. Après quatre jours de luttes internes et de négociations, il est redevenu PDG. Nous passons ici en revue les faits connus concernant cette série d'événements. 

OpenAI est censée être contrôlée par le conseil d'administration d’une organisation à but non lucratif. OpenAI a été fondée en 2015 en tant qu'organisation à but non lucratif. En 2019, OpenAI a annoncé la création d'une entreprise à but lucratif qui l'aiderait à financer ses projets coûteux de développement de larges modèles de langages (LLM). Les bénéfices qu’un investissement dans OpenAI (l’entreprise) peut rapporter aux investisseurs était à l'origine "plafonné" à 100 fois l’investissement de départ — tout ce qui dépassait ce plafond serait redirigé vers l'organisation à but non lucratif. Toutefois, à la suite d'une récente modification des règles, ce plafond augmentera de 20 % par an à partir de 2025. 

La structure d’OpenAI a été conçue de manière à ce que l'organisation à but non lucratif OpenAI puisse conserver un contrôle juridique sur l'entreprise OpenAI. L'organisation à but non lucratif est dirigée par un conseil d'administration, qui détient le pouvoir sur l'entreprise grâce à sa capacité à en sélectionner et à en révoquer le PDG. Ce conseil d'administration est chargé de faire respecter la mission de l’organisation à but non lucratif, qui est de veiller à ce que l'intelligence artificielle générale profite à l'ensemble de l'humanité.

Le conseil d'administration révoque Sam Altman en tant que PDG. Au moment où Sam Altman a été démis de ses fonctions de PDG, le conseil d'administration était composé du scientifique en chef d'OpenAI, Ilya Sutskever, du PDG de Quora, Adam D'Angelo, de l'entrepreneur Tasha McCauley et d'Helen Toner du CSET. Greg Brockman, cofondateur et président d'OpenAI, a été démis de ses fonctions de président du conseil d'administration en même temps que Sam Altman. 

Selon le communiqué, le conseil d'administration a renvoyé M. Altman parce qu'il n'avait pas été "constamment franc dans ses communications avec le conseil d'administration, entravant ainsi sa capacité à exercer ses responsabilités". Bien que le conseil d'administration n'ait pas fourni d'exemples précis du manque d’honnêteté d'Altman dans le communiqué, il a été rapporté plus tard qu'Altman avait tenté de monter les membres du conseil d'administration les uns contre les autres pour essayer d'écarter Helen Toner.

Altman avait auparavant confronté Mme Toner à propos d'un article qu'elle avait co-écrit. Ce document critique en partie la mise sur le marché de ChatGPT par OpenAI pour avoir accéléré le rythme du développement de l'IA. Il y est également fait l'éloge de l'un des rivaux d'OpenAI, Anthropic, pour avoir retardé la sortie de son modèle phare de l'époque, Claude.

Les employés d'OpenAI s’opposent au conseil d'administration. Les retombées de l'annonce ont été rapides et spectaculaires. En l'espace de quelques jours, Greg Brockman et Mira Murati (la PDG intérimaire initiale) avaient démissionné, et presque tous les employés d'OpenAI avaient signé une pétition menaçant de démissionner et de rejoindre Microsoft si Sam Altman n'était pas réintégré et si les membres du conseil d'administration ne démissionnaient pas. Au cours des négociations, Helen Toner, membre du conseil d'administration, aurait déclaré que laisser OpenAI être détruite par le départ de ses investisseurs et de ses employés serait “conforme à la mission”. Ilya Sutskever a par la suite changé de camp et rejoint la pétition, tweetant "Je regrette profondément ma participation aux actions du conseil d'administration".

Microsoft tente de débaucher des employés d'OpenAI. Microsoft — le plus important des actionnaires minoritaires d'OpenAI — n'avait pas été informé des projets du conseil d'administration et a proposé aux employés d'OpenAI des postes dans sa propre équipe de recherche sur l'IA. Il a brièvement semblé que Microsoft avait réussi à embaucher Sam Altman, Greg Brockman et d'autres employés seniors d'OpenAI. 

Sam Altman redevient PDG. Le 21 novembre, OpenAI a annoncé que les parties impliquées étaient parvenues à un accord prévoyant le retour de Sam Altman en tant que PDG et la réorganisation du conseil d'administration. Le nouveau conseil d'administration est initialement composé de Bret Taylor, ancien PDG de Salesforce, de Larry Summers, ancien secrétaire au Trésor, et d'Adam D'Angelo. L'un des premiers objectifs de ce nouveau conseil est de s'élargir : il devrait comprendre en particulier un membre sans droit de vote de la société Microsoft. Sam Altman doit également faire face à une enquête interne sur son comportement à son retour.

Cette série d'événements marque une période de changements importants dans la structure de gouvernance interne d'OpenAI.

Les sénateurs Amy Klobuchar et John Thune ont présenté un nouveau projet de loi sur l'IA. Elle obligerait les entreprises qui construisent des systèmes d'IA à haut risque à certifier par elles-mêmes qu'elles respectent les directives de sécurité recommandées. Le projet de loi se concentre uniquement sur les systèmes d'IA construits pour des domaines à haut risque tels que l'embauche et les soins de santé, mais ses principales dispositions ne s'appliqueraient pas à de nombreux modèles de fondation à usage général, y compris GPT-4. 

Le projet de loi réglemente des applications spécifiques de l'IA, et non les IA à usage général. Cette approche basée sur les applications est similaire à celle adoptée par les premières versions de la loi européenne sur l'IA, qui régulait spécifiquement l’IA utilisée dans certains domaines considérés à haut risque (parce que l’IA pouvait être utilisée à des fins sensibles dans ces contextes). Les modèles à usage général tels que ChatGPT n'entraient pas dans le champ d'application de la loi, mais l'utilisation publique de ces modèles et la démonstration de leurs capacités ont suscité un débat sur la manière de les réglementer. 

Cela indique que l'approche actuelle adoptée par le projet de loi du Sénat américain pourrait ne pas être suffisante. En régulant les systèmes d'IA en fonction de leurs applications, les systèmes à usage général très performants ne sont pas réglementés.

L'évaluation des risques est obligatoire, mais son application pourrait être difficile. Le projet de loi exige que les développeurs et les fournisseurs de systèmes d'IA à haut risque effectuent tous les deux ans une évaluation de la manière dont les risques potentiels de leurs systèmes sont compris et gérés. En outre, le Department of Commerce (agence du gouvernement fédéral qui régule entre autres les entreprises) élaborera des normes de certification avec l'aide du comité consultatif sur la certification de l'IA qui doit être créé et qui comprendra des parties prenantes de l'industrie de l’IA.

Comme il est demandé aux entreprises de certifier elles-mêmes leur conformité à ces normes, il sera important que le Department of Commerce s'assure que les entreprises respectent effectivement les règles. Mais le projet de loi n'offre que peu d'options en matière d'application. L'agence ne dispose d'aucune ressource supplémentaire pour faire appliquer la nouvelle loi. En outre, elle ne peut empêcher le déploiement d'un modèle que s'il est établi que les exigences du projet de loi ont été violées intentionnellement. Si un système d'IA enfreint accidentellement la loi, l'agence pourra infliger une amende à l'entreprise qui l'a conçu, mais ne pourra pas en interdire le déploiement. 

Identification obligatoire des contenus générés par une IA. Le projet de loi impose aux plateformes numériques d'informer les utilisateurs lorsqu'un contenu généré par une IA leur est présenté. Pour éviter que des acteurs malveillants ne fassent passer pour authentiques des contenus générés par l'IA, le NIST (bureau du Department of Commerce chargé d’établir des normes pour l’industrie) élaborera de nouvelles normes techniques pour déterminer la provenance des contenus numériques.

• Google DeepMind a lancé Gemini, un nouveau système d'IA similaire à GPT-4 Vision et qui le bat de justesse sur plusieurs caractéristiques importantes. 

• Donald Trump déclare qu'en tant que président, il annulerait immédiatement le décret du président Biden sur l'IA. 

• La secrétaire d'État au commerce, Gina Raimondo, s'est exprimée sur l'IA, la Chine, le contrôle des exportations de GPU, etc. 

• Le New York Times a publié un profil sur les origines des principaux laboratoires d'IA actuels. 

• Le Congressional Research Service a publié un nouveau rapport sur l'IA pour la biologie. 

• Inflection a dévoilé un autre LLM, dont les performances se situent entre celles de GPT-3.5 et de GPT-4. 

• Un nouveau LLM open source de développeurs chinois prétend dépasser les performances de Llama 2. 

• Voici un nouveau syllabus proposé pour un cours sur les perspectives juridiques et politiques de la réglementation de l'IA. 

• Deux universités suisses ont lancé une nouvelle initiative de recherche sur l'IA et la sécurité de l'IA. 

• BARDA accepte les candidatures pour leur Innovation Challenge visant à financer des projets d’IA appliquée à la sécurité sanitaire et aux menaces chimiques, bactériologiques, radiologiques, et nucléaires (CBRN). 

• La Future of Life Foundation, nouvelle organisation affiliée au Future of Life Institute incubera de nouvelles organisations s'attaquant aux risques liés à l'IA. 

• Pour les participants à NeurIPS 2023, le UK AI Safety Institute organisera un évènement, et il y aura aussi un AI Safety Social. 

Voir aussi : le site du CAIS, le CAIS sur Twitter, Une newsletter technique sur la recherche en sûreté et Un aperçu des risques catastrophiques liés à l’IA.