Institutions nationales pour la sûreté de l’IA

Les principales informations de cette semaine :

• Le Royaume-Uni, les États-Unis et Singapour ont annoncé la création d'institutions nationales de sûreté de l'IA.

• Le sommet britannique sur la sûreté de l'IA s'est conclu par une déclaration de consensus, la création d'un groupe d'experts chargé d'étudier les risques liés à l'IA et l'engagement de se réunir à nouveau dans six mois.

• xAI, OpenAI et une nouvelle entreprise chinoise ont dévoilé de nouveaux modèles cette semaine.

Avant de réglementer une nouvelle technologie, les gouvernements ont souvent besoin de temps pour recueillir des informations et examiner leurs options politiques. Mais pendant ce temps, la technologie peut se diffuser dans la société, ce qui rend l'intervention des gouvernements plus difficile. Ce processus, appelé "dilemme de Collingridge", est un défi fondamental de la politique technologique.

Mais récemment, plusieurs gouvernements préoccupés par l'IA ont adopté des plans simples pour relever ce défi. Dans l'espoir de recueillir rapidement de nouvelles informations sur les risques liés à l'IA, le Royaume-Uni, les États-Unis et Singapour ont tous créé de nouveaux organismes nationaux chargés d'évaluer empiriquement les menaces liées aux systèmes d'IA et de promouvoir la recherche et la réglementation sur la sûreté de l'IA.

Le “groupe de travail sur les modèles de fondation” du Royaume-Uni devient “l’Institut de sûreté de l'IA du Royaume-Uni” : L'organisation britannique chargée de la sûreté IA a connu une ribambelle de noms au cours de sa courte vie, du Foundation Model Taskforce au Frontier AI Taskforce et maintenant à l'AI Safety Institute (Institut de sûreté de l’IA). Mais son objectif a toujours été le même : évaluer, discuter et atténuer les risques liés à l'IA.

L'Institut de sûreté de l'IA du Royaume-Uni n'est pas un organisme de réglementation et n'élaborera pas de politique gouvernementale. Il se concentrera plutôt sur l'évaluation de quatre types de risques clés liés aux systèmes d'IA : les usages abusifs, les impacts sociétaux, la sûreté et la sécurité des systèmes et la perte de contrôle. Partager des informations sur la sûreté de l'IA sera également une priorité, comme cela a été fait dans leur récent document sur la gestion des risques pour les laboratoires sur les IA de frontière.

Les États-Unis créent un institut de sûreté de l'IA au sein du NIST : À la suite du récent décret sur l'IA, la Maison-Blanche a annoncé la création d'un nouvel institut de sûreté de l'IA. Il sera hébergé par le ministère du commerce au sein de l'Institut national des normes et de la technologie (NIST).

L'institut vise à "faciliter le développement de normes pour la sûreté, la sécurité et les tests des modèles d’IA, à développer des normes pour authentifier le contenu généré par l'IA, et à fournir des environnements de test pour les chercheurs afin d'évaluer les risques émergents de l'IA et de traiter les impacts connus."

Le financement de cet institut n'ayant pas été prévu, de nombreuses voix se sont élevées pour demander au Congrès d'augmenter le budget du NIST. Actuellement, l'agence ne compte qu'une vingtaine d'employés travaillant sur les technologies émergentes et l'IA responsable.

Les candidatures pour rejoindre le nouveau consortium du NIST afin d'informer l'institut de sûreté de l'IA sont désormais acceptées. Les organisations peuvent postuler ici.

Le banc d'essai de Singapour pour l'évaluation de l'IA générative : L'atténuation des risques liés à l'IA nécessitera les efforts de collaboration de nombreuses nations différentes. Il est donc encourageant de voir Singapour, un pays asiatique qui entretient des relations étroites avec la Chine, créer son propre organisme d'évaluation de l'IA.

L'autorité de développement de l’information, communication et médias (IMDA) de Singapour a déjà travaillé avec des pays occidentaux sur la gouvernance de l'IA, notamment en fournissant une passerelle entre son cadre national de test de l'IA et le cadre américain de gestion des risques de l'IA du NIST.

Le nouveau banc d’essai d'évaluation de l'IA générative de Singapour réunira des acteurs de l'industrie, du monde universitaire et des organisations à but non lucratif afin d'évaluer les capacités et les risques de l'IA. Leur récent document souligne explicitement la nécessité d'évaluer les risques extrêmes liés à l'IA, notamment l'acquisition d'armes, les cyberattaques, la réplication autonome et la tromperie.

Le sommet britannique sur l'IA s'est achevé jeudi 2 novembre sur plusieurs annonces importantes.

Un groupe d'experts internationaux sur l'IA : Tout comme le GIEC des Nations unies résume la recherche scientifique sur le changement climatique pour aider les décideurs politiques, le Royaume-Uni a annoncé la création d'un groupe d'experts international sur l'IA afin d'aider à établir un consensus et à orienter la politique en matière d'IA. Ses travaux seront publiés dans un rapport sur l'état de la science avant le prochain sommet, qui se tiendra en Corée du Sud dans six mois.

Par ailleurs, huit grands laboratoires d'IA ont accepté de donner à plusieurs gouvernements un accès anticipé à leurs modèles. OpenAI, Anthropic, Google Deepmind et Meta font partie des entreprises qui ont accepté de partager leurs modèles pour des tests privés avant leur diffusion publique.

La déclaration de Bletchley : Vingt-huit gouvernements, dont la Chine, ont signé la déclaration de Bletchley, un document qui reconnaît les risques à court et à long terme de l'IA, ainsi que la nécessité d'une coopération internationale. La déclaration indique : "Nous sommes particulièrement préoccupés par ces risques dans des domaines tels que la cybersécurité et la biotechnologie, ainsi que dans les cas où les systèmes d'IA d'avant-garde peuvent amplifier des risques tels que la désinformation. Les capacités les plus importantes de ces modèles d'IA peuvent entraîner des dommages graves, voire catastrophiques, délibérés ou involontaires".

La déclaration établit un programme de lutte contre les risques, mais ne fixe pas d'objectifs politiques concrets. Des travaux supplémentaires sont nécessaires pour assurer une collaboration continue entre les différents gouvernements, ainsi qu'entre les gouvernements et les laboratoires d'IA.

L'entreprise xAI d'Elon Musk a publié son premier modèle de langage, Grok : Elon Musk a lancé xAI en juillet. Compte tenu de son potentiel d'accès à de la puissance de calcul, nous avions émis l'hypothèse que xAI pourrait être en mesure de concurrencer les principaux laboratoires d'IA comme OpenAI et DeepMind. Quatre mois plus tard, Grok-1 représente la première tentative de l'entreprise en ce sens.

Grok-1 surpasse GPT-3.5 sur plusieurs critères de capacités standard. Bien qu'il ne puisse pas rivaliser avec les derniers modèles des grands laboratoires, tels que GPT-4, PaLM-2 ou Claude-2, Grok-1 a également été formé avec beaucoup moins de données et de puissance de calcul. L'efficacité et le développement rapide de Grok-1 indiquent que la tentative de xAI de devenir un laboratoire d'IA de premier plan pourrait bientôt être couronnée de succès.

Dans son annonce, xAI s'est engagée à "travailler au développement de garanties fiables contre les formes catastrophiques d'utilisation malveillante". La société xAI n'a pas communiqué d'informations sur les possibilités d'utilisation abusive du modèle ou sur ses capacités dangereuses.

Note : Dan Hendrycks, directeur du CAIS, est conseiller auprès de xAI.

OpenAI annonce une multitude de nouveaux produits : Près d'un an après la sortie de ChatGPT, OpenAI a organisé son premier DevDay en personne pour annoncer de nouveaux produits. Aucun des produits de cette année n'est aussi important que GPT-3.5 ou GPT-4, mais il y a tout de même quelques mises à jour notables.

Les systèmes d'IA agentiques qui prennent des mesures pour atteindre des objectifs ont été au centre des préoccupations d’OpenAI cette année. En mars, la publication de plugins a permis à GPT d'utiliser des outils externes tels que des moteurs de recherche, des calculateurs et des environnements de codage. Aujourd'hui, OpenAI a publié les API assistants, qui facilitent la création d'agents d'IA qui poursuivent des objectifs en utilisant des plugins. La version grand public de ce produit s'appelle GPTs et permettra à quiconque de créer un chatbot avec des instructions personnalisées et un accès aux plugins.

Certains utilisateurs seront également autorisés à fine-tuner GPT-4. Cette décision a été prise en dépit des recherches montrant que les garde-fous de GPT-3.5 peuvent être supprimés par le fine-tuning. OpenAI n'a pas donné de détails sur ses plans pour atténuer ce risque, mais il est possible que la nature fermée de son modèle lui permette de surveiller les comptes clients pour détecter les comportements suspects et bloquer les tentatives d'utilisation malveillante.

Les entreprises clientes auront également la possibilité de travailler avec OpenAI pour entraîner des versions de GPT-4 spécifiques à un domaine, à des prix supérieurs à plusieurs millions de dollars. Parmi les autres produits, citons GPT-4 Turbo, qui est moins cher, plus rapide et dispose d'une fenêtre contextuelle plus large que le modèle original, ainsi que de nouvelles API pour GPT-4V, des modèles de synthèse vocale et DALL·E 3.

Une nouvelle startup chinoise déploie un LLM open source : Kai Fu Lee, ancien président de Google Chine, a fondé une nouvelle entreprise d'IA appelée 01.AI. Sept mois après sa création, l'entreprise a mis en open source ses deux premiers modèles, Yi-7B et son grand frère, Yi-34B.

Yi-34B surpasse tous les autres modèles open source dans une série de tests populaires hébergés par Hugging Face. Il est possible que ces résultats soient artificiellement gonflés, étant donné que les tests sont publics et que le modèle a pu être entraîné à mémoriser les réponses aux questions spécifiques des tests. Certains ont souligné que le modèle n'obtenait pas d'aussi bons résultats dans d'autres tests simples.

• Suite au lobbying d’entreprises européennes d'IA, les représentants de la France, de l'Allemagne et de l'Italie s'opposent actuellement à toute réglementation des modèles de fondation dans le cadre de la loi européenne sur l'IA. L'ensemble de la loi pourrait être menacé sans une résolution sur ce sujet.

• Le dernier produit de Nvidia contourne les nouveaux contrôles américains à l'exportation des GPU.

• Nvidia pilote un outil LLM pour améliorer la productivité de ses concepteurs de puces.

• Google a donné à son modèle de langage Bard l'accès à Gmail, Drive et Docs d'un utilisateur. Ces données personnelles peuvent être exfiltrées par des pirates utilisant des attaques adverses.

• RAND a publié un rapport sur la sécurisation des poids des modèles d'IA contre le vol.

• Le Legal Priorities Project a publié une analyse documentaire sur la gouvernance de l'IA.

• Témoignage du Sénat sur les risques et les opportunités de l'IA et de la cybersécurité.

• Les États-Unis et la Chine se préparent à rétablir les canaux de communication entre leurs armées avant une rencontre entre les présidents Biden et Xi à la fin du mois.

• Les présidents Biden et Xi discuteront d'IA lors de leur rencontre, notamment d'accords potentiels sur les armes autonomes et le contrôle de l'IA sur les armes nucléaires.

• D'éminents chercheurs en IA de Chine et de pays occidentaux ont publié une déclaration commune sur les risques catastrophiques liés à l'IA.

• Le Royaume-Uni investit 273 millions de dollars dans un superordinateur pour l'IA.

• Après que le Premier ministre britannique, Rishi Sunak, a promis de ne pas "se précipiter" sur la réglementation de l'IA, le parti travailliste de l'opposition s'est publiquement engagé à agir rapidement sur la politique de l'IA.

• Le Congrès a abordé la question de l'IA dans de nombreuses dispositions du processus d'affectation des crédits de l’année 2024.

• Lina Khan, présidente de la Commission fédérale du commerce, déclare que son "p(doom)" (probabilité d'une catastrophe civilisationnelle) due à l'IA est de 15 %.

• Article satirique dans le Financial Times sur un "Sommet sur la sûreté des humains organisé par les principaux systèmes d'IA dans une ferme de serveurs à l'extérieur de Las Vegas."

• Open Philanthropy a publié de nouvelles demandes de propositions concernant l'évaluation comparative des agents LLM et l'étude de l'impact des LLM sur le monde.

• Profil d'Ilya Sutskever, cofondateur d'OpenAI, qui travaille actuellement dans l'équipe chargée de l'alignement.

• Le Wall Street Journal présente le directeur du CAIS, Dan Hendrycks, dans un débat sur les risques liés à l'IA.

• Scale AI a annoncé la création d'un nouveau laboratoire de sûreté, d'évaluations et d'analyses. Ils recrutent des chercheurs scientifiques.

Voir aussi : le site du CAIS, le CAIS sur Twitter, Une newsletter technique sur la recherche en sûreté et Un aperçu des risques catastrophiques liés à l’IA.