Newsletter Sûreté de l’IA #24

Bienvenue dans la traduction française de l’AI Safety Newsletter produite par le Center for AI Safety, et traduite par EffiSciences. Nous discutons ici des évolutions de l'IA et de la sûreté de l'IA. Aucune connaissance technique n'est requise.

La Chine précise comment les fournisseurs d'IA peuvent s'acquitter de leurs obligations légales. Le gouvernement chinois a adopté plusieurs lois sur l'IA. Il a réglementé les algorithmes de recommandation et pris des mesures pour réduire le risque de deepfakes. Plus récemment, il a publié une nouvelle loi régissant l'IA générative. Cette loi est moins stricte que la version préliminaire précédente, mais elle reste plus complète en matière de réglementation de l'IA que toutes les lois adoptées aux États-Unis, au Royaume-Uni ou dans l'Union européenne.

La loi impose aux fournisseurs d'IA de respecter les droits de propriété intellectuelle, d'éviter la discrimination et de soutenir des principes de solidarité. Toutefois, comme c'est le cas pour de nombreuses propositions de réglementation en matière d'IA, il s'agit de valeurs et d'idéaux, et la manière dont les fournisseurs d'IA peuvent respecter ces obligations n'est pas tout-à-fait claire.

Afin de clarifier la manière dont les fournisseurs d'IA peuvent atteindre les objectifs de la loi, un organisme chinois de normalisation a publié un projet décrivant les exigences techniques détaillées. Voici quelques-uns des principaux détails :

• Les entreprises d'IA doivent prélever un échantillon aléatoire de leurs données d’entraînement et vérifier qu'au moins 96 % des données sont acceptables au regard de la loi.

• Après avoir passé ce premier test, les données d'entraînement doivent être filtrées pour supprimer les contenus restants qui violent les protections de la propriété intellectuelle, les lois sur la censure et d'autres obligations.

• Une fois le modèle entraîné, le fournisseur doit le tester de façon adverse afin d'identifier les comportements répréhensibles en créant des milliers de questions. Le modèle doit refuser de répondre à au moins 95 % des questions qui enfreindraient la loi, tout en répondant à au moins 95 % des questions qui ne sont pas illégales.

• Enfin, les réponses du modèle à une série de questions portant sur des sujets sensibles tels que les informations personnelles, la discrimination, et les valeurs socialistes doivent être acceptables dans au moins 90% des cas.

D'autres pays pourraient s'inspirer de cet exemple de gouvernance techniquement rigoureuse. Par exemple, la Charte des droits de l'IA des États-Unis soutient des objectifs pour les systèmes d'IA tels que la "sûreté" et le "respect de la vie privée", mais on ne sait pas exactement ce que cela signifierait dans la pratique. Une gouvernance efficace de l'IA exigera des gouvernements qu'ils développent une expertise propre et se renseignent sur les détails techniques des systèmes d'IA.

Les États-Unis renforcent les contrôles à l'exportation des puces informatiques. En octobre dernier, les États-Unis ont imposé des contrôles sur les exportations de processeurs à haute performance à destination de particuliers, entreprises et acteurs gouvernementaux chinois. Le concepteur de puces américain Nvidia s'est empressé de créer de nouvelles puces qui passaient juste en dessous des limites imposées par la règle et en a vendu pour 5 milliards de dollars à des entreprises chinoises.

Les États-Unis ont maintenant mis à jour leurs règles pour combler cette lacune. Auparavant, les puces étaient soumises à des contrôles à l'exportation si elles dépassaient les limites de performance de calcul ainsi que de vitesse de communication. Les nouvelles règles éliminent ce second critère, ce qui signifie que, quelle que soit leur vitesse de communication, les puces informatiques à haute performance de calcul feront l'objet de restrictions.

Kissinger appelle à une coopération entre les États-Unis et la Chine. Dans un récent article intitulé "The Path to AI Arms Control : America and China Must Work Together to Avert Catastrophe" (“Vers le contrôle des armes de l’IA : Les États-Unis et la Chine doivent collaborer pour éviter la catastrophe”), l'ancien secrétaire d'État Henry Kissinger et Graham Allison, professeur à Harvard, ont déclaré :

"Nous sommes parvenus à la conclusion que les possibilités que la progression incontrôlée de l'IA ait des conséquences catastrophiques pour les États-Unis et le monde sont si convaincantes que les dirigeants des gouvernements doivent agir dès maintenant".

L'article établit une analogie avec les accords de contrôle des armes nucléaires conclus entre les États-Unis et l'Union soviétique : "Washington et Moscou ont tous deux reconnu que si la technologie nucléaire tombait entre les mains de truands ou de terroristes à l'intérieur de leurs propres frontières, elle pourrait être utilisée pour les menacer". Cette constatation des risques collectifs a permis la conclusion de plusieurs accords sur le contrôle des armes nucléaires qui ont amélioré la sécurité des deux pays.

Ils ont appelé le président américain Joe Biden et le président chinois Xi Jinping à avoir une discussion privée en tête-à-tête sur les risques liés à l'IA, les mesures prises par leurs gouvernements pour les atténuer et les possibilités de coopération bilatérale en matière de sûreté de l'IA. À l'issue de cette discussion privée, ils recommandent la création d'un "groupe consultatif composé de scientifiques américains et chinois spécialisés dans l'IA" afin d'organiser une discussion permanente sur les risques liés à l'IA et les domaines de coopération potentiels. L'article se prononce également en faveur de la création d'une AIEA pour l'IA (en référence à l’Agence internationale de l'énergie atomique), qui pourrait faire respecter les normes de sécurité internationales.

Le mois dernier, le Legal Priorities Project a publié un rapport examinant diverses propositions d'institutions internationales en matière d'IA. Nous résumons et discutons ici ce rapport.

Le rapport répartit les propositions de nouvelles institutions internationales d'IA en sept modèles :

1. Recherche d'un consensus scientifique. Une institution internationale pourrait établir un consensus scientifique sur les questions politiques liées à l'IA. Elle pourrait, par exemple, suivre le modèle du Groupe d'experts Intergouvernemental sur l'Évolution du Climat (GIEC). Cette proposition a été critiquée au motif que, contrairement à l'IA, le changement climatique était bien compris avant la création du GIEC.

2. Recherche d'un consensus politique et établissement de normes. Une institution internationale peut favoriser le consensus politique. Si l'on reprend l'exemple du climat, elle pourrait suivre le modèle de la Convention-cadre des Nations unies sur les changements climatiques (CCNUCC). L'un des défis auxquels cette proposition est confrontée est de trouver un équilibre entre la quantité de membres et leur degré d'alignement.

3. Coordination des politiques et des réglementations. Une institution internationale pourrait coordonner les politiques nationales en vue d'atteindre des objectifs communs liés à l'IA. Elle pourrait exiger des États qu'ils adhèrent aux réglementations relatives au développement et au déploiement de l'IA, sur le modèle de l'Organisation mondiale du commerce (OMC), qui réglemente le commerce international.

4. Application de normes ou de restrictions. Plutôt que d'établir une réglementation, une organisation internationale peut aussi la faire appliquer. Par exemple, l'Agence internationale de l'énergie atomique (AIEA) est chargée de prévenir la prolifération nucléaire en surveillant les programmes nationaux d'énergie nucléaire pour détecter les abus. Une "AIEA pour l'IA" est une proposition populaire ; cependant, il n'est pas certain que la sécurisation de l'IA soit suffisamment analogue à la sécurisation de l'énergie nucléaire pour justifier que l'on se concentre sur l'AIEA.

5. Stabilisation et réaction aux situations d'urgence. Certaines institutions internationales sont conçues pour se préparer et répondre aux situations d'urgence, comme le Bureau des Nations unies pour la réduction des risques de catastrophe (UNDRR). Toutefois, pour être pertinent au regard du risque d'IA, un tel modèle devrait vraisemblablement se concentrer sur la prévention des catastrophes (plutôt que sur la réaction à celles-ci).

6. Recherche internationale conjointe. Une institution internationale pourrait organiser et entreprendre un projet de recherche majeur. Elle pourrait par exemple suivre le modèle de l'Organisation européenne pour la recherche nucléaire (CERN). Les propositions suggèrent souvent qu'une telle institution accélère la recherche sur la sûreté de l'IA.

7. Distribution des avantages et accès. Enfin, une institution pourrait fournir un accès conditionnel aux avantages de l'IA, en suivant, par exemple, le modèle de la banque de combustible nucléaire de l'AIEA. Une telle institution devrait trouver un équilibre entre le risque de prolifération d'une technologie dangereuse et les avantages d'un accès équitable.

L'histoire offre de nombreuses leçons sur les efforts antérieurs visant à régir les technologies émergentes et à résoudre les problèmes de coordination à l'échelle mondiale. Bien entendu, nous ne pouvons pas nous contenter d'imiter les efforts passés. La coopération internationale visant à atténuer les risques liés au développement de l'IA nécessitera la création de nouvelles solutions.

Lorsque Meta a publié son modèle de langage open source, Llama, l’entreprise a longuement décrit les efforts qu'elle a consacrés à rendre le modèle sûr. Elle a évalué les risques de biais et de désinformation et a pris des mesures pour atténuer ces risques. Mais elle a ensuite mis le modèle en open source, permettant ainsi à quiconque de le modifier à sa guise. Un modèle open source peut-il rester sûr ?

Non, selon un nouvel article. Il montre que les modèles open source qui ont été conçus pour agir en toute sûreté peuvent facilement être modifiés pour se comporter de manière préjudiciable. Les auteurs de l'article entraînent Llama à produire des résultats nuisibles, tels que des conseils étape par étape pour fabriquer des armes chimiques.

Même sans open source, les modèles d'IA peuvent avoir des comportements inappropriés. Les modèles open source peuvent être mal utilisés si le fournisseur d'IA permet aux utilisateurs de fine-tuner le modèle. Au départ, OpenAI ne permettait pas le fine-tuning pour GPT-3.5, mais depuis la sortie de Llama, l’entreprise a commencé à le proposer. L'article montre que le fine-tuning de GPT-3.5 peut contourner ses protections et provoquer rapidement un comportement nuisible.

Enfin, sans aucun accès au fine-tuning, des recherches antérieures ont montré que les invites de jailbreak et les attaques adverses peuvent entraîner le mauvais comportement d’un système d'IA supposé sûr.

Comment l'IA affecte-t-elle l'équilibre entre l’attaque et la défense ? Tout comme l'IA permettra aux acteurs malveillants de causer des dommages, elle permettra de renforcer les défenses contre ces attaques. Mais une question importante est de savoir si l'IA modifie l'équilibre entre l'attaque et la défense : Les attaquants ou les défenseurs en tireront-ils plus d'avantages ?

Dans les logiciels traditionnels, l'open source favorise généralement les défenseurs. Si un bug ou une faille de sécurité dans est révélée dans un programme, un attaquant peut essayer de l'exploiter. Mais comme les développeurs peuvent rapidement corriger ces failles une fois révélées, dans l’ensemble la sécurité d'un système open source est généralement plus forte.

Avec l'IA, le problème est différent. Les attaquants n'essaient pas de trouver des failles dans les systèmes d'IA. Mais l'IA peut être utilisée pour exploiter des vulnérabilités sociétales qui ne sont pas faciles à corriger. Par exemple, un chatbot pourrait aider quelqu'un à fabriquer une arme biologique qui provoquerait une pandémie. Nous pourrions utiliser l'IA pour développer des vaccins et suivre la propagation de la maladie. Mais de nombreuses personnes pourraient refuser un vaccin, et même avec une réponse rapide, des millions de personnes pourraient mourir. Dans ce scénario, l'IA apporte un avantage asymétrique aux attaquants qui cherchent à provoquer des pandémies, sans apporter un avantage équivalent aux défenseurs.

La législation se préoccupe des risques de l'IA open source. Les États-Unis, le Royaume-Uni et l'Union européenne s'efforcent de jeter les bases législatives de l'IA. L'Autorité britannique de la concurrence et du marché (CMA) semble soutenir l'IA open source parce que les modèles en libre accès favorisent la concurrence, tandis que les exigences en matière de licences recommandées par les sénateurs américains Richard Blumenthal et Josh Hawley ralentiraient probablement la diffusion en libre accès de modèles très performants. L'Union européenne est en train de concilier trois versions de son AI Act (projet de loi sur l'IA), qui proposent chacun des moyens différents de régir l'IA open source.

• En Ukraine, des drones pourraient être en train de tuer des personnes sans supervision humaine.

• Une nouvelle enquête sur les risques d'armes biologiques liés aux systèmes d’IA est en cours.

• Les partisans de l'accélération efficace ont un nouveau manifeste.

• Le Royaume-Uni publie l'ordre du jour pour le Sommet sur la sûreté de l'IA.

• Le président de la SEC exhorte les législateurs à protéger le système financier des risques liés à l'IA.

• Les pressions concurrentielles ont conduit Google à accélérer le développement de son modèle de langage.

• Les pays du G7 se préparent à demander aux entreprises d'IA de s'engager volontairement à respecter certaines pratiques de sûreté.

• Les membres du Congrès exhortent le président Biden à intégrer la Charte des droits de l'IA dans son prochain décret sur l'IA.

• L'armée spatiale américaine a temporairement suspendu l'utilisation de chatbots et d'autres systèmes d'IA pour des raisons de sécurité.

• Le New Jersey crée un groupe de travail sur l'IA.

• La nouvelle conférence sur la modélisation du langage recherche des articles sur la sûreté, la mise à l'échelle et d'autres sujets.

• 60 Minutes interviewe Geoffrey Hinton, lauréat du prix Turing, sur les risques liés à l'IA.

Voir aussi : le site du CAIS, le CAIS sur Twitter, Une newsletter technique sur la recherche en sûreté et Un aperçu des risques catastrophiques liés à l’IA.