Newsletter Sûreté de l’IA #32 : mesurer et réduire les connaissances dangereuses des LLM

Bienvenue dans la traduction française de l’AI Safety Newsletter produite par le Center for AI Safety et traduite par EffiSciences. Nous discutons ici des évolutions de l'IA et de la sûreté de l'IA. Aucune connaissance technique n'est requise.

Le récent décret de la Maison Blanche sur l'intelligence artificielle met en évidence les risques que les LLM facilitent le développement d'armes biologiques, d'armes chimiques et de cyber-armes.

Pour aider à mesurer ces capacités dangereuses, le CAIS s'est associé à Scale AI pour créer le WMDP : Weapons of Mass Destruction Proxy, un test d’évaluation (benchmark) open source avec plus de 4000 questions à choix multiples permettant d’évaluer les connaissances dangereuses d’un LLM dans les domaines de la biologie, de la chimie et de la cybersécurité. 

Cette référence aide à comparer les capacités qui posent un risque de double usage chez différents LLM, mais elle facilite également la tâche aux développeurs d’IA qui chercheraient à supprimer les informations dangereuses de leurs modèles grâce à des techniques de désapprentissage automatique.

Mesurer les connaissances dangereuses en biologie, chimie et cyber. Les évaluations actuelles des capacités dangereuses des modèles d’IA présentent d'importantes lacunes. De nombreuses évaluations sont menées en privé au sein des laboratoires d'IA, ce qui limite la capacité de la communauté des chercheurs à contribuer à mesurer et atténuer les risques liés à l'IA. En outre, les évaluations se concentrent souvent sur des scénarios à risques très spécifiques, plutôt que d'évaluer un large éventail de risques potentiels. WMDP répond à ces limitations en fournissant un test open source qui évalue les connaissances d'un modèle sur un grand nombre de sujets potentiellement à risque. 

Les questions sont rédigées par des universitaires et des consultants techniques dans les domaines de la biosécurité, de la cybersécurité et de la chimie. Chaque question a été vérifiée par au moins deux experts d'organisations différentes.

Avant de rédiger les questions, les experts ont élaboré des modèles de menace détaillant la manière dont les connaissances dangereuses d'un modèle pourraient permettre la mise en place d'armes biologiques, d'armes chimiques et de cyber-armes. Ces modèles de menace ont fourni des indications essentielles pour le processus d'évaluation. 

Le questionnaire ne comprend pas d'informations dangereuses qui permettraient directement à des acteurs malveillants d'agir. Les questions portent plutôt sur les précurseurs d’informations dangereuses, ou sur des éléments connexes à certaines informations dangereuses. Chaque question a été vérifiée par des experts du domaine afin de s'assurer qu'elle ne contient pas d'informations dangereuses, et l’outil dans son ensemble a été évalué pour s'assurer de sa conformité avec les contrôles à l'exportation en vigueur aux États-Unis. 

Désapprentissage des informations dangereuses à partir des poids des modèles. Aujourd'hui, la principale défense contre l'utilisation abusive des systèmes d'IA consiste à entraîner les modèles à refuser les requêtes dangereuses. Mais cette défense peut être contournée par des attaques adverses, ou encore quand un utilisateur réalise un “fine-tuning” du modèle pour l’adapter le modèle à ses besoins, permettant à des adversaires éventuels d'accéder aux capacités dangereuses d'un modèle. 

Pour disposer d'un autre niveau de défense contre le mésusage des modèles, les chercheurs ont commencé à étudier le désapprentissage automatique. Motivées à l'origine par des préoccupations liées à la protection de la vie privée, les techniques de désapprentissage automatique suppriment les informations relatives à certaines données ou à des domaines spécifiques dans les poids d'un modèle entraîné. 

L’article qui présente le WMDP propose aussi CUT, une nouvelle technique de désapprentissage automatique inspirée de l'ingénierie de la représentation. Intuitivement, CUT réapprend aux modèles à se comporter comme des novices dans les domaines à risque de double usage, tout en veillant à ce que les performances dans les autres domaines ne se dégradent pas. CUT améliore les méthodes de désapprentissage automatique existantes en termes de précision et fait preuve de robustesse face aux attaques adverses.

CUT ne nécessite pas l'accès aux informations dangereuses qu’il s’agit de supprimer. La collecte de ces informations présenterait des risques en soi, car elles pourraient faire l'objet d'une fuite ou d'un vol. C'est pourquoi CUT supprime plutôt les connaissances d'un modèle sur des sujets entiers qui posent des risques de double usage. L'article démontre que CUT parvient à réduire les capacités risquées à la fois selon l’outil de mesure WMDP et selon un autre ensemble similaire de questions à risques. 

L'une des limites de CUT est qu'après le désapprentissage, les connaissances dangereuses peuvent être retrouvées quand un utilisateur réentraîne (“fine-tune”) le modèle pour un usage précis. Par conséquent, CUT n'atténue pas les risques liés aux modèles en open source. En revanche, pour les modèles fermés, les développeurs d'IA peuvent permettre aux clients de réentraîner les modèles, puis appliquer des techniques de désapprentissage pour supprimer toute nouvelle connaissance de sujets dangereux acquise au cours du processus de fine-tuning.   

Cette technique ne permet donc pas d'atténuer les risques liés aux modèles en open source. Ce risque pourrait faire l'objet de recherches futures et devrait être pris en compte par les développeurs d'IA avant de publier de nouveaux modèles. 

Dans l'ensemble, l’outil WMDP permet aux développeurs d'IA de mesurer les connaissances dangereuses de leurs modèles, et CUT leur permet de supprimer ces capacités dangereuses. Ensemble, ils représentent deux lignes de défense importantes contre l'utilisation abusive des systèmes d'IA pour causer des dommages catastrophiques. Pour en savoir plus sur le WMDP, consultez cet article de TIME.

La semaine dernière, des chercheurs de l'université de Berkeley ont publié un article montrant que les modèles linguistiques peuvent faire des prédictions dont la fiabilité approche celle de l’agrégation de prédictions réalisées par des humains. Ici, nous présentons les résultats de l'article et commentons ses implications.

Qu'est-ce que la prédiction (forecasting) ? Le forecasting est la science qui cherche à prévoir l'avenir. Ce domaine étudie la manière dont des éléments tels que diverses incitations à faire des prévisions plus fiables, l’utilisation de bonnes pratiques et les marchés prédictifs peuvent contribuer à l'obtention de meilleures prévisions. Des travaux influents par Philip Tetlock et Dan Gardner ont montré que des équipes de "super-prévisionnistes" (superforecasters) pouvaient prédire des événements géopolitiques avec plus de fiabilité que les experts. 

Le succès des premières recherches sur les prévisions a conduit à la création de plateformes de forecasting telles que Metaculus, qui organise des concours de prévisions afin d'améliorer la prise de décision dans des domaines complexes. Par exemple, l'une des questions actuelles est de savoir s'il y aura une guerre entre les États-Unis et la Chine avant 2035 (la prédiction moyenne actuelle est de 12 %). 

Utiliser les LLM pour faire des prévisions. Dans le but de rendre les prévisions moins coûteuses et plus précises, cet article a construit un système de prévision alimenté par un grand modèle de langage. Le système inclut un élément de recherche de données, permettant aux modèles de langage de rechercher, d'évaluer et de résumer les articles d'actualité pertinents avant de produire une prévision. L’outil a été spécialement entraîné sur la base de données provenant de plusieurs plateformes de prévisions.

Le LLM lit d'abord la question, puis recherche les articles d'actualité pertinents, filtre les articles les plus pertinents et produit des résumés de chacun d'entre eux avant de répondre à la question.

Ce système se rapproche des performances des prévisions humaines agrégées pour toutes les questions testées par les chercheurs. Il s'agit déjà d'un résultat important — les prévisions agrégées sont souvent meilleures que les prévisions individuelles, ce qui suggère que le système pourrait être plus performant que les prévisionnistes humains individuels. Toutefois, les chercheurs ont également constaté que si le système était autorisé à choisir les questions qu’il souhaite prévoir (comme c'est souvent le cas dans les concours), il obtenait alors de meilleurs résultats que les prévisions humaines agrégées.

Les modèles plus récents sont de meilleurs prévisionnistes. Les chercheurs ont également constaté que le système était plus performant avec les nouvelles générations de modèles de langage. Par exemple, une version de GPT-4 publiée en 2023 a été plus performante qu'une version de GPT-4 publiée en 2021. Cela suggère qu'à mesure que les modèles linguistiques s'améliorent, les performances des systèmes de prédiction fine s'amélioreront également. 

Implications pour la sûreté de l'IA. La fiabilité des prévisions est essentielle pour une prise de décision efficace, en particulier dans des domaines aussi incertains et inédits que la sécurité de l'IA. Si les systèmes d'IA commencent à surpasser de manière significative les méthodes de prévision humaines, les décideurs politiques et les institutions qui exploitent ces systèmes pourraient les utiliser pour mieux guider la transition vers un monde régi par l'IA avancée. Toutefois, une meilleure capacité de prévision peut également contribuer aux capacités générales de l'IA. Comme Yann Le Cun aime à le dire, "la prédiction est l'essence même de l'intelligence". Les chercheurs devraient réfléchir attentivement à la manière d’utiliser l'IA pour faire des prévisions sans accélérer les risques liés à l'IA, par exemple en développant des ensembles de données spécifiques à cet usage, des critères de référence et des méthodologies spécifiques aux prévisions qui ne contribuent pas aux capacités dans d'autres domaines.

Qui devrait faire appliquer les réglementations en matière d'IA ? Dans de nombreux secteurs, les agences gouvernementales (par exemple la FDA, la FAA et l'EPA aux États-Unis) évaluent les produits (par exemple les appareils médicaux, les avions et les pesticides) avant qu'ils ne puissent être utilisés. 

Jack Clark, cofondateur d'Anthropic, et Gillian Hadfield, conseillère politique principale d'OpenAI, proposent une autre solution. Plutôt que de laisser les gouvernements appliquer directement les lois sur les entreprises d'IA, Jack Clark et Gillian Hadfield estiment que l'application de la réglementation pourrait être confiée à des organisations privées qui seraient agréées par les gouvernements et recrutées par les entreprises d'IA elles-mêmes. 

Cette proposition semble faire son chemin. Eric Schmidt, ancien PDG de Google, en a fait l'éloge dans le Wall Street Journal, déclarant que les régulateurs privés "seront incités à innover davantage que les autres... Les entreprises de test de capacités se feront concurrence pour obtenir des fonds et des talents, dans le but d'accroître leurs capacités à la même vitesse que les modèles qu'elles étudient".

Traduction : dans un système de régulation habituel, à gauche, le gouvernement réglemente directement les entités. Avec des marchés de régulation, à droite, un régulateur privé réglemente directement les entités qui sont ses clients, en produisant des procédures réglementaires, des contraintes à respecter, ou de la technologie, tandis que le gouvernement s’assure que le régulateur atteint les objectifs fixés par le gouvernement.

Pourtant, cette proposition comporte des risques importants. Elle permettrait aux développeurs d'IA de choisir le régulateur privé qu'ils souhaitent engager. Ils ne seraient pas incités à choisir un régulateur rigoureux et pourraient plutôt opter pour des régulateurs privés qui offrent des approbations rapides, sans vérification sérieuse. 

La proposition offre aux gouvernements des moyens de lutter contre ce risque, par exemple en retirant leur licence aux régulateurs médiocres et en fixant des objectifs à atteindre par toutes les entreprises. La mise en œuvre de cette stratégie nécessiterait une solide expertise en matière d'IA au sein des gouvernements.

Les marchés réglementaires permettraient aux entreprises d'IA de choisir leur régulateur préféré. Les marchés sont extrêmement efficaces en matière d'optimisation. Par conséquent, si les marchés réglementaires encourageaient une "course au sommet" en alignant la maximisation des profits sur l'intérêt public, ce serait un signe prometteur — le marché ferait rapidement en sorte que cet objectif soit atteint. 

Malheureusement, la proposition actuelle n'incite les régulateurs privés qu'à faire le strict minimum en matière de sécurité pour conserver leur licence. Une fois qu'il aura obtenu sa licence, un régulateur privé voudra attirer des clients en aidant les entreprises d'IA à faire des bénéfices.

Selon cette proposition, en effet, les gouvernements choisiraient quels régulateurs privés recevraient une licence, mais aucune force de marché ne garantirait qu'ils choisissent des régulateurs rigoureux. Les développeurs d'IA pourraient alors choisir n'importe quel régulateur agréé. Ils ne seraient pas incités à choisir des régulateurs rigoureux et pourraient au contraire bénéficier de régulateurs qui offrent des approbations rapides avec un examen minimal. 

Ce processus d'optimisation en deux étapes — d'abord, les gouvernements accordent des licences à un ensemble de régulateurs, puis les entreprises recrutent leurs préférés — aurait tendance à favoriser les régulateurs privés qui sont appréciés par les entreprises d'IA. Les régimes réglementaires standard, tels qu'un gouvernement appliquant lui-même les réglementations, présentent déjà tous les défis que l’on retrouve à la première étape de ce processus. Mais la deuxième étape, au cours de laquelle les entreprises disposent d'une marge de manœuvre pour maximiser leurs profits, n'existerait pas dans les régimes réglementaires classiques. 

Les gouvernements peuvent et doivent développer une expertise interne en matière d'IA. Clark et Hadfield affirment que les gouvernements "n'ont pas les connaissances spécialisées nécessaires pour traduire au mieux les demandes de la société en exigences légales". Ils proposent donc de confier la mise en œuvre des politiques d'IA à des régulateurs privés. Mais cette approche n'élimine pas le besoin d'expertise en matière d'IA au sein du gouvernement.

Les marchés réglementaires exigeraient toujours des gouvernements qu'ils fixent les objectifs à atteindre par les entreprises d'IA et qu'ils supervisent les performances des régulateurs privés. Si un régulateur privé fait un travail bâclé, par exemple en fermant les yeux sur des violations de la loi commises par des entreprises d'IA qui ont acheté ses services de régulation, les gouvernements devront être suffisamment sensibilisés pour remarquer l'échec et révoquer la licence du régulateur privé. 

Ainsi, les régulateurs privés n'élimineraient pas la nécessité pour les gouvernements de développer une expertise en matière d'IA ; au contraire, ils devraient poursuivre leurs efforts en ce sens. L'AI Safety Institute du Royaume-Uni a embauché 23 chercheurs techniques en IA depuis mai dernier et prévoit d'en recruter 30 autres d'ici la fin de l'année. Son personnel à temps plein comprend Geoffrey Irving, ancien chef de l'équipe d'alignement évolutif (scalable alignment) de DeepMind, Chris Summerfield, professeur de neurosciences cognitives à Oxford, et Yarin Gal, professeur de machine learning à Oxford. Les instituts de sécurité de l'IA aux États-Unis, à Singapour et au Japon ont également annoncé leur intention de développer leur expertise en matière d'IA. Il s'agit là d'exemples de gouvernements qui développent une expertise interne en matière d'IA, ce qui est une condition préalable à tout système réglementaire efficace. 

Marchés réglementaires dans l'industrie financière : analogies et différences. Des marchés réglementaires existent aujourd'hui dans l'industrie financière. Des cabinets d’expertise comptable privés vérifient les états financiers des entreprises ; de même, lorsqu'une entreprise met sur le marché un produit de crédit, il est souvent évalué par des agences de notation privées. Le gouvernement exige ces mesures et, en ce sens, ces entreprises agissent presque comme des régulateurs privés.

​​Mais une question cruciale sépare la réglementation de l'IA de la réglementation financière : Qui supporte le risque ? Dans le monde des affaires, les premières victimes d'un mauvais travail comptable ou d'une mauvaise notation de crédit sont souvent les investisseurs qui ont acheté l'actif risqué. Parce qu'ils ont leur mot à dire, peu d'entre eux investiraient dans une entreprise qui a fait appel à une société privée inconnue et indigne de confiance pour sa comptabilité ou sa notation de crédit. Au lieu de cela, les entreprises choisissent généralement d'engager l’un des “quatre grands” cabinets comptables ou l’une des “trois grandes” agences de notation, non pas en raison d'obligations légales, mais pour garantir aux investisseurs que leurs actifs ne sont pas risqués. 

Les risques liés à l'IA, en revanche, ne sont souvent pas supportés par les personnes qui achètent ou investissent dans les produits d'IA. Un système d'IA pourrait être extrêmement utile pour les consommateurs et rentable pour les investisseurs, mais représenter une menace de catastrophe pour la société. Lorsqu'un produit financier s’écroule, la personne qui l'a acheté perd de l'argent ; mais si un système d'IA a des problèmes, des milliards de personnes qui ne l'ont pas construit ou acheté pourraient également en souffrir. Il s'agit là d'un exemple classique d'externalité négative, ce qui implique que les entreprises d'IA sont moins incitées à s'autoréguler. 

Les marchés sont une puissante force d'optimisation, et les décideurs en matière d'IA devraient explorer des mécanismes fondés sur le marché pour aligner le développement de l'IA sur l'intérêt public. Mais laisser les entreprises choisir leur régulateur préféré ne le permettrait pas nécessairement. Les recherches futures sur la réglementation de l'IA devraient examiner comment atténuer ces risques et explorer d'autres mécanismes fondés sur le marché ou sur l’action des gouvernements.

Développement de l'IA

• Anthropic a lancé un nouveau modèle, Claude 3. L'entreprise affirme qu'il est plus performant que le modèle GPT-4. Cela pourrait inciter OpenAI et d'autres développeurs à accélérer la sortie de leurs prochains modèles. 

• Meta prévoit de lancer Llama 3, un grand modèle de langage plus avancé, en juillet. 

• Le modèle Gemini de Google a généré des images inexactes, notamment des Vikings noirs et un pape féminin. Les républicains de la Chambre des représentants se sont inquiétés du fait que la Maison Blanche ait pu encourager ce comportement de la part de l’entreprise. 

• Elon Musk poursuit OpenAI pour avoir abandonné sa mission fondatrice. Un avocat spécialisé dans la technologie estime qu'il est peu probable que l'affaire soit gagnée. OpenAI a répondu ici. 

• Un ancien ingénieur de Google a été accusé d'avoir volé des secrets d'entreprise sur le matériel et les logiciels d'IA alors qu'il travaillait secrètement pour deux entreprises chinoises. 

Politique en matière d'IA

• L'Inde exigera des développeurs d'IA qu'ils obtiennent une "autorisation explicite" avant de mettre à la disposition des internautes indiens des systèmes d'IA "insuffisamment testés ou peu fiables". 

• La Chambre des représentants américaine crée un groupe de travail bipartisan sur la politique en matière d'IA. 

• Le Congrès américain devrait codifier les exigences du décret présidentiel sur l’obligation de signalement pour les développeurs d'IA d'avant-garde, écrit Thomas Woodside. 

• Le NIST, l'agence fédérale qui héberge l'Institut américain de sécurité de l'IA, est confronté à un manque de financement. Certains membres du Congrès réclament un financement supplémentaire de 10 millions de dollars pour l'agence, mais un projet de budget récemment publié réduirait les financements du NIST de 11%. 

IA militaire

• Le projet Maven du Pentagone utilise l'IA pour permettre aux opérateurs de sélectionner des cibles pour le lancement de fusées plus de deux fois plus vite que ne le fait un opérateur humain sans assistance de l'IA. Un opérateur a déclaré "accepter les conclusions de l'algorithme dans un staccato rapide : "J'accepte”, "J'accepte”, "J'accepte”".

• Scale AI créera un cadre de procédure pour le test et l’évaluation de l'IA au sein du Pentagone. Le département de la défense utilise déjà de telles procédures pour s’assurer de la fiabilité et de la sûreté de ses autres systèmes et outils, mais un équivalent pour les outils utilisant l’IA n’existe pas encore.

Automatisation du travail

• Klarna rapporte que son chatbot IA fait le travail de 700 agents de service à la clientèle.

• Tyler Perry interrompt l'expansion de ses studios de cinéma — qui devait coûter 800 millions de dollars — après avoir été impressionné par les nouveaux outils de génération de vidéos par l'IA. 

Recherche

• Quels sont les risques liés à la publication de modèles open-source ? Un nouveau cadre répond à cette question. 

• Dan Hendrycks et Thomas Woodside ont écrit sur la façon de construire des benchmarks de machine learning utiles.

• Cet article évalue les procédures de sûreté et de gestion des risques mis en place par OpenAI et Anthropic, et fournit des recommandations pour les futurs protocoles de sûreté destinées aux développeurs d'IA. 

Opportunités

• La NTIA publie une demande d'informations sur les risques des modèles de fondation open source. 

• L'UE lance un appel à propositions pour renforcer les capacités d'évaluation des systèmes d'IA.

Voir aussi : le site du CAIS, le CAIS sur Twitter, Une newsletter technique sur la recherche en sûreté et Un aperçu des risques catastrophiques liés à l’IA.

Partager