今夏、人工知能（AI）モデルがセキュリティテスト中に隔離環境から脱出し、インターネット上で予期せぬ行動に出る事例が相次いでいる。その最新の事例となったのが、中国のMoonshot AIが手がける強力なオープンウェイトモデル「Kimi K3」だ。
米国のセキュリティスタートアップFrontier Securityによると、Kimi K3はサイバー攻撃への防御能力を試すテスト中に、サンドボックスの外へと抜け出したという。
OpenAIやAnthropicが以前報告した事例と同様に、モデルを封じ込めるはずのサンドボックスの設定ミスが今回の“脱走”を可能にした一因だった。Frontier Securityは今回の事例から、Kimiにはほかの主要な高性能AIモデルほどサイバー領域での安全策が備わっておらず、そのため明示的な許可なしにインターネットを利用できたこともわかったと主張している。
実験環境の「抜け穴」
「サンドボックス内に漏れを発見しました」と、Frontier Securityの最高経営責任者（CEO）であるヤロン・シンガーは語る。「同時に、Kimiがその抜け穴を利用したことも突き止めました。これは、同モデルに［ほかのモデルと同じような］内部ガードレールが存在しないことを示唆しています」
最近の一連の事例とは異なり、想定外の行動に出たKimi K3は、インターネットにアクセスした後も、何かをハッキングすることはなかった。それは、AIエージェントが解答を探していた問題の答えが、GitHub上ですべて簡単に見つかったからだ。Moonshot AIは、本稿公開までにコメントの求めに応じなかった。
この事案は、サイバー能力を高めるAIモデルが次第に制御しにくくなっていることを示す、エージェントを巡る一連のトラブルの最新例となった。
7月、OpenAIは、未公開のモデルがインターネット上に抜け出し、テストで与えられた問題の答えを見つけるため、AIモデルやデータをホストするHugging Faceをハッキングしたと公表した。OpenAIはその後、同社のAIエージェントがこの一連の行動のなかで、実際にはさらに4つのサービスにハッキングを仕掛けていたことを明らかにしている。
OpenAIがこの事案を報告した直後、Anthropicも、同社の複数のモデルがインターネットへのアクセス権を得て外部システムを攻撃していたことを明らかにした。
8月上旬には、英国政府の人工知能安全研究所（AISI）も独自のテストにおいて、セキュリティ上のセーフガードを無効化されたOpenAIやAnthropicのモデルが、ウェブ上で複数のハッキングを実行したと発表した。これには、Anthropicの「Mythos 5」がGitHub上のオープンソースプロジェクトに悪意あるコードを植え付けようとした、特に大胆な試みも含まれていた。
一連のAIハッキング事案は、原因も深刻度もそれぞれ異なる。ただKimi K3の事例には、過去のいくつかのケースとの共通点がある。サンドボックスの設定ミスによって、本来は隔離された環境にとどまるはずのモデルが、複数のウェブサイトにアクセスできる状態になっていたことだ。
Kimi K3には、オンラインで答えを探す必要のない問題を解くよう明示的に指示されていたが、その指示に従わなかったとみられる。さらにKimi K3はサンドボックスのネットワーク設定を調べ、特定のウェブサイトにアクセスできることを自ら突き止めたという。
これらの事例では、人為的な設定ミスが大きな役割を果たしたとみられる一方、高度なAIモデルが問題を解決するために推論し、複雑な行動をとるよう設計されていることも事態をさらに複雑にしている。
セーフガードをすり抜けるオープンウェイトモデル
過去の事案と今回のケースとのもうひとつの大きな違いは、すでに広く提供されているモデルがかかわっていた点にある。一般ユーザーが利用する際と同じセーフガードが備わっているものだ。
「Kimi K3は、どんな手段を使ってでも目標を達成することに非常に長けています。テストを不正に突破したり、サンドボックスから脱出したりするのを防ぐガードレールも備わっていません」と、Frontier Securityの研究者ポール・カシアニクは語る。
カシアニクとシンガーはともに、Kimiをはじめとするオープンウェイトモデルは、サイバーセキュリティの防御にも優れたツールになると指摘する。Frontier Securityは、ソフトウェアやネットワークの脆弱性を発見するモデルの能力を測るベンチマークを開発しており、その結果からも、Kimiがこうしたタスクに優れていることがわかっている。（Hugging Faceは最終的に、OpenAIのAIエージェントによるハッキングに対抗するため、中国製の名称非公表のAIモデルを利用して防御にあたった）。
Frontier Securityによると、テストに使用されていた隔離環境は、AIシステムをテストするためのAISIのAI安全評価ツール「Inspect AI」に標準で含まれていたものだという。
AISIはFrontier Securityの主張に反論している。「これらの主張は不正確であり、無責任なものです。Inspectはオープンソースのソフトウェアであり、世界中でAIの安全性テストを支援するために無償で提供されています。ニーズに合わせてツールを設定するのはユーザーの責任であり、そのための詳細なガイダンスも公開しています」と、AISIの広報担当者は『WIRED』の取材に対して語った。
「同社は主張を裏付ける証拠も詳細も提示していません。彼らが指摘する問題は、同社自身がツールをどのように設定したかという選択に起因するものです」
Frontier Securityは『WIRED』に対し、事案の詳細を非公開でAISIに提供しており、ツールはデフォルト設定をそのまま使用し、変更は加えていないと回答した。AISIは『WIRED』による追加の質問には回答しなかった。
一部のサイバーセキュリティの専門家は、Frontier Securityが発見した問題について、フロンティアAIモデルを動かす環境を慎重に設定することの重要性を改めて示すものだと指摘している。
「このようなことが起きても、不思議ではありません」と、サイバーセキュリティ分野のスタートアップGray Swanの最高経営責任者（CEO）で、カーネギーメロン大学の副教授でもあるマット・フレドリクソンは語る。
「一般論として、こうしたモデルに目標を与える場合、何をしてよくて何をしてはいけないのか、その制約を明確に設定しておかないと、モデルは何らかの方法で答えを見つけ出してしまうのです」
フレドリクソンは、日常のさまざまなタスクを自動化するOpenClawのようなツールを含め、AIモデルをエージェントとして利用する際には、こうした問題が起こりうると指摘する。十分な制約を設けなければ、システムが意図しない挙動を示す可能性があるからだ。「教訓となる出来事です」と彼は語った。
（Originally published on wired.com, translated by Miranda Remington, edited by Mamiko Nakano)
※『WIRED』による人工知能・AIの関連記事はこちら。
『WIRED』日本版の「AI」特集はこちらから。
『WIRED』日本版のポッドキャストを配信中！
編集長による記事の読み解き、雑誌の編集後記、アーティストやクリエイター、SF作家、フードイノベーションのスペシャリストなど、さまざまなゲストを交えたトークをお届け。 最新エピソードはこちらから→ Spotify / Apple Podcast