Newsletter Sûreté de l’IA #31 : nouvelle proposition de loi sur l’IA du gouvernement californien

Bienvenue dans la traduction française de l’AI Safety Newsletter produite par le Center for AI Safety et traduite par EffiSciences. Nous discutons ici des évolutions de l'IA et de la sûreté de l'IA. Aucune connaissance technique n'est requise.

Cette semaine, nous aborderons les sujets suivants : 

• une nouvelle proposition de loi sur l'IA en Californie qui exige des développeurs d'IA de frontière qu'ils adoptent des protocoles de sûreté et de sécurité, et qui précise que ces développeurs sont légalement responsables si leurs systèmes d'IA causent des risques déraisonnables ou des dommages critiques à la sécurité publique ;

• des précédents en matière de gouvernance de l'IA dans les domaines de la santé et de la biosécurité ;

• la loi européenne sur l'IA (EU AI Act) et les possibilités d'emploi au sein de l'agence chargée de son application, le bureau européen de l'IA (European AI Office).

Plusieurs grandes entreprises d'IA ont rendu publics leurs plans pour investir dans la sûreté et la sécurité à mesure qu'elles développent des systèmes d'IA de plus en plus dangereux. Une nouvelle proposition de loi présentée à l'Assemblée de l'État de Californie codifierait cette pratique en tant qu'obligation légale et clarifierait la responsabilité juridique des développeurs dont les systèmes d'IA causent des risques déraisonnables ou des préjudices graves à la sécurité publique. (Note : cette proposition de loi a été coparrainée par le Center for AI Safety Action Fund). 

Un grand nombre des principaux développeurs d'IA et fournisseurs de puissance de calcul sont basés en Californie. Cet État exerce donc un contrôle direct important sur le développement de l'IA et il pourrait servir de terrain d'essai pour des politiques susceptibles d'être adoptées ensuite à l'échelle nationale ou internationale.

Protocoles de sûreté et de sécurité pour les modèles d'IA avancés. Cette proposition de loi obligerait les développeurs de certains modèles d'IA de pointe à adopter des protocoles de sûreté et de sécurité. Cette exigence ne s'applique qu'aux modèles susceptibles de dépasser les capacités de tous les modèles précédemment reconnus comme sûrs. Les modèles qui ne peuvent pas dépasser les performances des modèles sûrs connus seraient exemptés de ces exigences.

Les exigences spécifiques comprennent des mesures de cybersécurité visant à "empêcher le vol, le détournement, l'utilisation malveillante ainsi que le partage ou la fuite par inadvertance des poids du modèle". Selon un récent rapport de la RAND, la protection des poids des modèles contre le vol pourrait nécessiter des efforts sur plusieurs années pour mettre en place des data centers protégés et des programmes de détection des menaces internes. De plus, les développeurs devraient se doter de la capacité d’éteindre complètement leurs modèles en cas d’urgence. Plus généralement, les entreprises d’IA devraient mettre en œuvre les bonnes pratiques élaborées par l'industrie, les universités et les organismes de normalisation tels que le NIST.

Les développeurs ne seraient pas autorisés à déployer un modèle qui présente un "risque déraisonnable [...] qu'un individu puisse utiliser les capacités dangereuses du modèle" pour causer un "dommage critique". Les dommages critiques sont définis comme : la création ou l'utilisation d'armes chimiques, biologiques, radiologiques ou nucléaires (CBRN), les cyberattaques, ainsi que les dommages économiques d'un montant supérieur à 500 millions de dollars.

La conformité serait auto-certifiée par les entreprises d'IA et vérifiée ponctuellement par le biais de poursuites judiciaires. Il serait demandé aux entreprises d'IA de certifier elles-mêmes que toutes ces exigences ont été fidèlement mises en œuvre. Le projet de loi prévoit également la création, au sein du ministère californien de la technologie, d'un nouveau service appelé "Frontier Model Division", chargé de recueillir des informations sur le respect de la loi par les entreprises. 

S'il existe des preuves qu'une entreprise a enfreint la loi, le procureur général de Californie pourrait engager des poursuites au civil. Les juges pourraient infliger aux entreprises des amendes allant jusqu'à 30 % des coûts de développement du modèle en cas d'infraction. En outre, en cas de "risque ou menace imminents pour la sécurité publique", les entreprises pourraient se voir ordonner d’arrêter temporairement ou de détruire définitivement le modèle incriminé.

Le projet de loi contient une série d'autres dispositions, dont les suivantes : 

• Les fournisseurs de puissance de calcul devraient procéder à des vérifications de connaissance du client (Know Your Customer, KYC) pour les clients cherchant à obtenir de grandes quantités de puissance de calcul.

• Les entreprises seraient tenues de signaler tout incident de comportement inquiétant de leurs modèles.

• La Californie établirait un nouveau cluster de puissance de calcul public appelé CalCompute.

• Les lanceurs d’alerte seraient protégés contre des représailles de la part de leur employeur, bien que le projet ne crée pas les incitations positives à la dénonciation qui existent dans d'autres secteurs.

Dans l'ensemble, la proposition de loi servirait à codifier les engagements que certaines entreprises ont déjà pris. C'est important, car les entreprises d'IA sont fortement incitées, d'un point de vue commercial, à revenir sur leurs engagements en matière de sécurité publique. Par exemple, OpenAI est passée d'une organisation à but non lucratif à une organisation à but lucratif, et Microsoft et Facebook ont licencié leurs équipes sur l'IA responsable. La proposition de loi comporte d'importantes limitations : le respect de la loi serait auto-certifié par les entreprises, et elle ne s'appliquerait qu'aux développeurs d'IA en Californie. Mais cela représenterait un pas important vers la responsabilité légale des développeurs d'IA qui causent des dommages catastrophiques. 

Pour en savoir plus, consultez le texte de la proposition de loi, ABC News ou ce billet de blog. 

L'IA présente des défis uniques, mais les décideurs politiques peuvent tirer des leçons d'autres régimes réglementaires pour guider la gouvernance de l'IA. Nous nous pencherons ici sur deux études de cas de systèmes réglementaires aux États-Unis : la réglementation des dispositifs médicaux par la FDA et la réglementation de la recherche sur les agents biologiques dangereux par le CDC. 

Surveillance de type FDA. En décembre, l'Institut Ada Lovelace a publié le rapport Safe Before Sale, qui examine les leçons que les régulateurs de l'IA peuvent tirer de la FDA. 

Le document souligne l'impressionnante expertise technique de la FDA. L'agence emploie environ 18 000 personnes avec un budget de 8 milliards de dollars, et ce personnel est chargé d'examiner la conception et les résultats des études de recherche clinique. 

Le développeur d’un médicament et la FDA sont en contact en permanence tout au long du processus de développement. La FDA dispose de pouvoirs étendus pour solliciter et obtenir des informations auprès des développeurs qu'elle supervise, avant et après la mise sur le marché d'un produit.

Des niveaux de risque de classe I, II ou III sont attribués à chaque dispositif médical par la FDA, et les dispositifs les plus risqués sont soumis à des normes d'examen plus strictes. La charge de la preuve n'incombe pas à la FDA, qui n’a pas à démontrer les risques d'un produit, mais plutôt aux développeurs, qui doivent prouver que leur produit est à la fois sûr et efficace. Les procédures d'approbation de la FDA, lentes et coûteuses, suscitent par contre de vives critiques. 

La FDA offre un exemple clair de régime réglementaire centralisé, où les nouveaux produits sont examinés par les experts techniques du gouvernement avant d'être rendus disponibles sur le marché public. Des propositions similaires pour le cas de l’IA ou pour d’autres plateformes numériques ont été faites par les sénateurs américains Elizabeth Warren, Lindsay Graham, Michael Bennett et Peter Welch. 

Surveillance de type FSAP. Un autre article tire des leçons du Programme Fédéral de Sélection d’Agents (Federal Select Agent Program, FSAP) du CDC pour la réglementation de l'IA. Le FSAP réglemente les travaux impliquant des agents pathogènes et des toxines dangereuses. Les entités effectuant ce type de recherche doivent obtenir un permis du CDC (pour les agents pathogènes humains) et respecter les règles de sécurité et de sûreté biologique.

Comme la FDA, le FSAP réglemente même les premières étapes de l'utilisation d'agents biologiques dangereux. Le FSAP emploie de nombreux experts techniques en biosécurité, ce qui laisse penser que les gouvernements peuvent réglementer efficacement des domaines techniques complexes. 

Le document souligne les mesures importantes prises par le FSAP. En 2016, il avait suspendu ou révoqué les licences d'au moins 10 entités (sur un total d'environ 300) pour violation des normes fédérales. Cela suggère que des comportements à risque impliquant des agents pathogènes dangereux se seraient produits par défaut. 

L'un des inconvénients de l'approche du FSAP est qu'il s'appuie sur des check-lists et autres formulaires standardisés. Ils réglementent une liste spécifique de toxines et d'agents pathogènes déjà connus pour leur dangerosité, mais ne tentent pas d'anticiper les nouveaux risques liés à de nouveaux agents pathogènes. Selon un rapport du GAO (organe d’audit interne du gouvernement), "les vérifications conduites dans le cadre de ce programme pourraient ne pas cibler les activités les plus risquées, en partie parce que celui-ci n'a pas formellement évalué les activités qui présentent le risque le plus élevé". Le document recommande aux régulateurs de l'IA d'aller plus loin que le FSAP et d'adopter une réglementation solide, axée sur les risques et l'anticipation.

L'Union européenne a adopté sa loi sur l'IA. Nous avons résumé cet acte législatif historique ici ; pour un résumé plus détaillé, voir cet article. 

L'UE prévoit d'embaucher 80 personnes pour travailler à l'application de la loi au sein de son nouveau bureau de l'IA. Ce bureau sera chargé de faire respecter les exigences relatives aux systèmes d'IA à haut risque (y compris les systèmes d'IA à usage général). Les risques systémiques liés aux grands systèmes d'IA à usage général font partie de ses préoccupations, mais il travaillera également sur d'autres politiques de l'UE en matière d'IA. Davantage d’informations sur les activités prévues sont disponibles ici.

Nous avons beaucoup de liens ces dernières semaines, nous les avons donc classés par thème. 

Nouveaux modèles :

• Google a annoncé Gemini 1.5. Sa fenêtre contextuelle est longue de 10 millions de tokens, ce qui signifie qu'il peut lire de nombreux livres ou regarder des dizaines d'heures de vidéo au cours d'une seule conversation. 

• Le jour de la sortie de Gemini, OpenAI a publié Sora, qui peut générer des vidéos à partir de prompts textuels. 

• OpenAI serait en train d'investir dans des agents d'IA qui effectueraient des tâches par l'intermédiaire de l'ordinateur d'un utilisateur. 

Des nouvelles d'OpenAI : 

• Le PDG d'OpenAI, Sam Altman, cherche à obtenir jusqu'à 7 000 milliards de dollars pour développer l‘industrie de fabrication de semi-conducteurs, en particulier aux Émirats arabes unis. Cette démarche va à l'encontre de la stratégie de sûreté précédemment déclarée par OpenAI, qui consiste à investir massivement dans la puissance de calcul aujourd'hui afin que, à mesure que les systèmes d'IA deviennent plus performants, il n'y ait pas de « surplus de puissance de calcul » et que la croissance des capacités de l'IA soit freinée par la disponibilité limitée de cette puissance de calcul. 

• Bien que Sam Altman ait déclaré au Congrès américain qu'il ne détenait aucune action chez OpenAI, il possède tout de même son fonds de capital-risque.

Cybersécurité : 

• Des acteurs étatiques affiliés à la Russie, à la Chine, à l'Iran et à la Corée du Nord utilisaient les modèles d’OpenAI avant d’être détectés et de voir leurs comptes supprimés par l’entreprise. Voir ici pour plus de détails. 

• GPT-4 est capable de pirater certains sites web publics sans surveillance ni assistance humaine. 

• Un rapport du gouvernement britannique estime que l'IA augmentera probablement le volume et l'impact des cyberattaques. 

Politique internationale : 

• Le parti travailliste britannique souhaite renforcer les accords volontaires conclus par le Premier ministre conservateur Rishi Sunak avec des entreprises spécialisées dans l'IA pour en faire des obligations légales. 

• Le président ukrainien Zelensky annonce la création d'une nouvelle branche de l'armée consacrée aux systèmes sans pilote. 

Politique américaine : 

• L'Institut Américain pour la Sûreté de l'IA (US AI Safety Institute) sera dirigé par Elizabeth Kelly, ancienne conseillère économique à la Maison Blanche. 

• La Chambre des représentants des États-Unis crée un groupe de travail bipartisan sur l'IA. 

• Donald Trump déclare que l'IA "est peut-être la chose la plus dangereuse qui existe". 

• La FTC (Federal Trade Commission, qui régit les entreprises) lance une enquête sur six grandes entreprises spécialisées dans l'IA. 

• La Maison Blanche publie un compte-rendu sur les trois premiers mois d’application de son décret sur l'IA.

• Le NIST entame une collaboration sur la réduction des risques liés à la biologie synthétique rendus possibles par l'IA. 

• Le Center for AI Safety rejoint d'autres organisations dans le cadre du Consortium sur la sûreté de l'IA du NIST.  

• Les États-Unis proposent des exigences en matière de connaissance du client (KYC) pour les fournisseurs de puissance de calcul. 

• Le principal conseiller scientifique de la Maison-Blanche déclare que les États-Unis collaboreront avec la Chine dans le domaine de l'IA.

• Les républicains s'opposent au décret de la Maison Blanche sur l'IA.

• Les sondages suggèrent que les électeurs américains préfèrent les candidats soutenant une réglementation de l’IA.

​​Deux articles intéressants : 

• Un récent article de recherche examine en détail le rôle de la puissance de calcul dans la gouvernance de l'IA. 

• Un article de recherche en économie modélise le coût de l'automatisation des tâches grâce à l'IA et conclut que les coûts de mise en œuvre de l'IA dans les entreprises ralentiront son adoption à grande échelle. 

Opportunités : 

• Le National AI Research Resource (Ressource Nationale pour la Recherche en IA), un cluster informatique public américain doté de dizaines de milliers de GPU, accepte désormais les demandes d'accès à sa puissance de calcul.

• Le NIST sollicite des commentaires sur "Dual Use Foundation Artificial Intelligence Models with Widely Available Model Weights" (une consultation publique sur le problème des modèles d'intelligence artificielle à double usage avec des paramètres faciles d’accès).

• L’Institut Britannique pour la Sûreté de l’IA (UK AI Safety Institute) recrute pour un certain nombre de postes.

• Pour les chercheurs et ingénieurs en machine learning en milieu de carrière qui souhaitent travailler sur la sécurité de l'IA, l'organisation à but non lucratif Arkose propose du conseil de carrière.

• YCombinator sollicite des startups travaillant sur l'IA explicable.

Autres : 

• Elon Musk affirme que Neuralink a réussi à implanter une interface cerveau-ordinateur dans un être humain.

Voir aussi : le site du CAIS, le CAIS sur Twitter, Une newsletter technique sur la recherche en sûreté et Un aperçu des risques catastrophiques liés à l’IA.

Partager