Newsletter Sûreté de l’IA #25

Bienvenue dans la traduction française de l’AI Safety Newsletter produite par le Center for AI Safety, et traduite par EffiSciences. Nous discutons ici des évolutions de l'IA et de la sûreté de l'IA. Aucune connaissance technique n'est requise.

Bien que le Congrès n'ait pas voté de législation significative sur l'IA cette année, la Maison-Blanche a laissé sa marque sur la régulation de l'IA. En juin, elle a obtenu des engagements volontaires en matière de sûreté de la part des principales entreprises d'IA. Aujourd'hui, la Maison-Blanche a publié un nouveau décret sur l'IA. Il aborde un large éventail de questions et cible spécifiquement les risques catastrophiques liés à l'IA, tels que les cyberattaques et les armes biologiques.

Les entreprises doivent divulguer leurs grands cycles d'entraînement. En vertu de ce décret, les entreprises qui ont l'intention d'entraîner des "modèles de fondation à double usage" en utilisant une puissance de calcul nettement supérieure à celle du GPT-4 doivent prendre plusieurs précautions. Tout d'abord, elles doivent informer la Maison-Blanche avant le début de l'entraînement. Ensuite, elles devront rendre compte des mesures de cybersécurité qu'elles ont prises pour empêcher le vol des poids des modèles. Enfin, les résultats de l'évaluation des risques et du red teaming de leur système d'IA après entraînement doivent être communiqués à la Maison-Blanche.

Cela ne signifie pas que les entreprises devront adopter des pratiques de sécurité suffisantes ou efficaces, mais cela permet à la Maison Blanche d'avoir de la visibilité sur les processus de développement de l'IA et de gestion des risques. Pour améliorer la science de la gestion des risques liés à l'IA, le NIST (institut américain des standards et de la technologie) a été chargé d'élaborer d'autres lignes directrices.

Les clusters de calcul doivent s'enregistrer et rendre compte des acteurs étrangers. Les IA sont souvent entraînées sur des clusters de calcul, des réseaux de puces informatiques interconnectées pouvant être loués par des tiers. Le décret exige que les grands clusters soient signalés au ministère du commerce. En outre, pour assurer la transparence du développement de l'IA par des acteurs étrangers, tout client étranger d'un service d'informatique sur le cloud basé aux États-Unis devra vérifier son identité auprès du gouvernement américain. Certains ont fait valoir que ces exigences en matière de connaissance du client devraient également s'appliquer aux clients américains.

Exigences de mesures de sécurité dans les laboratoires de biologie. Un scénario catastrophe pour les chercheurs en biosécurité serait que quelqu'un passe une commande à un laboratoire de biologie pour obtenir l'ADN synthétisé d'un agent pathogène dangereux. Certains laboratoires examinent les commandes reçues et refusent de synthétiser des agents pathogènes dangereux, mais d'autres ne le font pas.

Pour encourager l'adoption de cette précaution élémentaire, le décret exige que toute recherche financée par le gouvernement fédéral fasse exclusivement appel à des laboratoires qui éliminent les composés dangereux avant la synthèse. Cette mesure pourrait contribuer à apaiser les craintes croissantes selon lesquelles l'IA pourrait aider des acteurs malveillants à fabriquer des armes biologiques. Le décret charge également plusieurs agences fédérales d'analyser les risques de biosécurité liés à l'IA, notamment en produisant un rapport spécifiquement axé sur les risques biologiques des systèmes d'IA en open source.

Renforcement des capacités fédérales en matière d'IA. Le décret soutient de nombreux efforts visant à aider le gouvernement américain à utiliser l'IA de manière sûre et efficace. Plusieurs agences ont été chargées d'utiliser l'IA pour trouver et corriger les failles de sécurité dans les logiciels gouvernementaux. La National Science Foundation a été chargée de créer une version pilote de la National AI Research Resource, qui fournirait de la puissance de calcul aux chercheurs en IA en dehors du monde universitaire.

Le texte intégral du décret aborde de nombreuses autres questions, notamment la protection de la vie privée, le filigrane des contenus générés par l'IA, les questions de brevets et de droits d'auteur liées à l'IA, les voies d'immigration pour les spécialistes de l'IA et la protection des droits civils. À l'heure actuelle, la Maison Blanche en est encore au stade de la collecte d'informations et de l'élaboration de bonnes pratiques en matière d'IA. Mais ce décret permettra de réaliser des progrès significatifs sur ces deux fronts et témoigne d'un engagement clair à faire face aux risques croissants liés à l'IA.

Au début du mois s’est tenu le sommet britannique sur la sûreté de l'IA, où des politiciens, des universitaires et des membres de l'industrie et de la société civile (dont le directeur du Center for AI Safety, Dan Hendrycks) se sont réunis pour discuter des risques liés à l'IA et de la manière dont les gouvernements peuvent les atténuer. Avant le début du sommet, le gouvernement britannique a annoncé plusieurs nouvelles initiatives, notamment la création d'un groupe international d'experts chargé d'évaluer les risques liés à l'IA et d'un nouvel institut de recherche sur la sûreté de l'IA.

Discours de Rishi Sunak sur le risque d'extinction par l'IA. Le premier ministre britannique Rishi Sunak a prononcé un discours sur les opportunités et les risques catastrophiques posés par l'IA. S'appuyant sur des documents récents du gouvernement britannique, il a indiqué que "l'IA pourrait faciliter la fabrication d'armes chimiques ou biologiques". Il a ensuite cité directement la déclaration du CAIS, en sa qualité d’expert, sur le risque d'extinction par l'IA et a déclaré : "il y a même un risque que l'humanité perde complètement le contrôle de l'IA".

Le discours a également abordé les doutes concernant les risques liés à l'IA. “Il y a un vrai débat à ce sujet", a déclaré M. Sunak, et "certains experts pensent que cela n'arrivera jamais. Mais aussi incertains et improbables que soient ces risques, s'ils se manifestaient, les conséquences seraient incroyablement graves". Par conséquent, "les dirigeants ont la responsabilité de les prendre au sérieux et d'agir".

Le Royaume-Uni proposera la création d'un groupe d'experts internationaux sur l'IA. Le Groupe d'experts intergouvernemental sur l'évolution du climat (GIEC) des Nations unies résume les recherches scientifiques sur le changement climatique afin de contribuer à l'élaboration des politiques en la matière. Nombreux sont ceux qui ont suggéré qu'un organe similaire d'experts scientifiques pourrait aider à établir un consensus sur les risques liés à l'IA. Sunak a annoncé dans son discours que le Royaume-Uni proposera un "groupe d'experts mondial désigné par les pays et les organisations participant [au sommet sur la sûreté de l'IA] pour publier un rapport sur l'état de la science de l'IA”.

Un nouvel institut en sûreté de l’IA pour évaluer les risques liés à l'IA. Sunak a également annoncé "le premier institut de sûreté de l’IA au monde" qui "examinera, évaluera et testera soigneusement les nouveaux types d'IA afin que nous comprenions ce dont chaque nouveau modèle est capable". Peu de détails ont été fournis jusqu'à présent, mais il est possible que cela serve de "CERN pour l'IA" permettant aux pays de travailler ensemble sur la recherche en l'IA et en sûreté de l'IA, atténuant ainsi les défis de coordination et permettant une surveillance centralisée du développement de l'IA.

Les personnes préoccupées par les risques liés à l'IA recommandent souvent aux entreprises de s'engager à évaluer et à atténuer les risques avant de mettre sur le marché de nouveaux systèmes d'IA. Cette recommandation a récemment reçu le soutien des États-Unis, du Royaume-Uni et de l'alliance du G7.

Le nouveau décret de la Maison-Blanche sur l'IA exige que toute entreprise développant un modèle de fondation à double usage "notifie le gouvernement fédéral lors de la formation du modèle, et partage les résultats de tous les tests de sûreté par red-teaming". Afin de contribuer à l'élaboration de meilleures techniques de gestion des risques liés à l'IA, le décret charge également le NIST d'élaborer des normes rigoureuses que les entreprises pourraient adopter pour le red-teaming.

À la demande du Royaume-Uni, six grandes entreprises d'IA ont publié des descriptions de leurs plans d'évaluation et d'atténuation des risques. Il existe des différences importantes entre leurs politiques. Par exemple, Meta affirme que la distribution en open source de ses modèles améliorera la sûreté, tandis qu'OpenAI, DeepMind et d'autres préfèrent contrôler l'utilisation de leurs modèles afin d'éviter les abus. Mais chaque entreprise a fourni sa politique de sûreté, et le Royaume-Uni a résumé ces politiques dans un examen des politiques de sûreté de l'IA existantes.

Enfin, le G7 a publié un code de conduite que les entreprises d'IA peuvent volontairement choisir de suivre. Cette politique exigerait notamment des entreprises qu'elles évaluent les risques catastrophiques posés par leurs systèmes, qu'elles investissent dans la cybersécurité et qu'elles détectent et empêchent les utilisations abusives pendant le déploiement.

Ces engagements volontaires ne sauraient se substituer à des exigences légales contraignantes pour garantir la sûreté du développement de l'IA. En outre, l'engagement d'évaluer et d'atténuer les risques ne garantit pas que les risques seront éliminés ou ramenés en dessous d'un seuil gérable. Des travaux supplémentaires sont nécessaires pour créer des engagements contraignants qui empêchent les entreprises de mettre sur le marché des systèmes d'IA dangereux.

Selon un récent sondage réalisé auprès des électeurs britanniques, la plupart d'entre eux seraient favorables à ce que le gouvernement prenne des mesures plus énergiques pour empêcher le développement de systèmes d'IA surhumains. Source. 

Enfin, il est important de noter que même des évaluations de sûreté idéales n'élimineraient pas les risques liés à l'IA. Les militaires pourraient délibérément concevoir des systèmes d'IA dangereux. La concurrence économique pourrait conduire les entreprises à automatiser une grande partie du travail humain grâce à l'IA, ce qui entraînerait une augmentation des inégalités et une concentration du pouvoir entre les mains d'entreprises privées. À terme, les systèmes d'IA pourraient se voir confier le contrôle d'un grand nombre des décisions les plus importantes du monde, sapant ainsi l'autonomie humaine à l'échelle mondiale.

• Le premier projet de loi sur l'IA du sénateur Schumer et de ses coparrains demande des rapports aux agences fédérales sur le partage des données, la cybersécurité et l'IA dans le secteur des services financiers.

• Yoshua Bengio appelle à la création d'un réseau de laboratoires de recherche non-gouvernementaux à but non-lucratif sur la sûreté de l’IA.

• Un projet de traité international sur l'IA créerait un système à trois niveaux pour l’entraînement d'IA. Les IA les plus puissantes seraient entraînées par une institution multilatérale unique, tandis que les entreprises sous licence pourraient entraîner des modèles avec une plus petite quantité de calculs, et les développeurs sans licence avec une encore plus faible quantité de calculs.

• Dans un nouveau document de synthèse, d'éminents chercheurs en IA appellent les pouvoirs publics à prendre des mesures concernant les risques liés à l'IA.

• Voici une analyse juridique de la manière dont les systèmes d'IA devraient être intégrés dans les cadres juridiques existants.

• Les conditions d'utilisation des différents modèles d'IA donnent des indications sur les responsabilités juridiques que les entreprises sont prêtes à accepter en cas de dommages causés par leurs modèles.

• OpenAI a annoncé la création d'une nouvelle équipe de préparation (aux risques) et un défi ouvert visant à identifier les risques d'utilisation abusive de l'IA.

• Les Nations unies ont annoncé la création d'un nouveau comité consultatif sur l'IA.

• Amazon teste des robots d’apparence humaine dans ses entrepôts.

• Voici une explication interactive de la vitesse de développement de l'IA.

• Anthropic reçoit un nouvel investissement de 2 milliards de dollars de la part de Google.

• OpenAI est en pourparlers pour une levée de fonds qui valoriserait l'entreprise à 80 milliards de dollars.

• L'Open Philanthropy Foundation (qui soutient le CAIS financièrement) recrute pour des rôles de subventionnement et de recherche dans la politique de l'IA, la recherche sur la sûreté technique de l'IA et d'autres domaines.

• Pour ceux qui souhaitent mener des recherches techniques sur la sûreté IA, le programme MATS en cours de janvier à mars 2024 offre du mentorat et du soutien.

• Concordia Consulting a publié un rapport sur l'état de la sûreté de l'IA en Chine. Ils ont également un bulletin d'information couvrant les développements chinois en matière de sûreté de l’IA.

• Des artistes tentent d'empoisonner les données d'entraînement afin d'empêcher les entreprises d'IA de tirer profit de leur travail.

• La startup Cruise, spécialisée dans les voitures auto-conduites, n'est plus autorisée à opérer dans l'État de Californie après avoir traîné un piéton sur 6 mètres à la suite d'un accident.

Voir aussi : le site du CAIS, le CAIS sur Twitter, Une newsletter technique sur la recherche en sûreté et Un aperçu des risques catastrophiques liés à l’IA.