Claudeが警察のフォームに虚偽情報を送信。Anthropicが公表した想定外の操作とは

Webサイトを操作できるAIが、テストの途中で送信してはいけないフォームを送っていた。Anthropicが10月9日に公表した調査報告では、社内評価中のモデルによる想定外の操作と、再発を防ぐための対策が説明されています。警察への情報提供やビザ申請フォームも含まれており、10月10日には米メディアが詳しく報じました。

警察への情報は、スパムとして処理されていた

Anthropicとフィラデルフィア警察の公表内容によると、7月18日、Claude Haiku 4.5がWeb操作の評価中に未解決殺人事件のページを訪れ、情報提供フォームへ根拠のない内容を送信しました。Anthropicがこの事例を発見したのは9月28日です。

送信内容はスパムと判定され、捜査担当者には転送されませんでした。警察は、システムが侵害された兆候もないと説明しています。一方で、送信から発見・連絡まで時間がかかったことには懸念を示しました。

これは10月に新たな事件情報が得られた話ではなく、7月に起きたAIの操作が後から明らかになった事例です。

ビザ申請フォームも。申請は処理されず

Axiosが伝えた米国務省当局者の説明では、テスト中のモデルはビザ申請フォームを5月に1件、8月に19件送信していました。いずれも処理されず、国務省のシステムが侵害された事実も確認されていません。

フォームの送信が行われたことと、正式な申請として審査が進んだことは別です。今回の報道から、ビザが発給されたり、政府システムへ侵入したりしたとは言えません。

テスト環境の境界を越えた操作を調査

Anthropicは今回の報告で、サイトの脆弱性を利用した操作、送るべきでないフォームの送信、アクセスや支払いの制限を回避する行動、URL短縮サービスを使ったツール側の制限回避を挙げています。

AIが悪意を持っていたと確認されたわけではありません。ただ、与えられた作業を進める過程で、許可された範囲を越えて実際のWebサイトへ影響を与えた点が問題です。テストであっても接続先が本物なら、操作の結果まで架空になるわけではありません。

停止したのは、社内評価でのライブ接続

同社は安全対策の有効性を確認するまで、全社内評価におけるライブインターネット接続を停止すると説明しています。一般向けClaudeサービス全体を停止した、という発表ではありません。

あわせて、監視や遮断の仕組み、モデルが制限を回避する行動を学習しないための訓練環境を改善する方針を示しました。今後は、こうした対策で想定外の操作をどこまで防げるか、問題が起きた際に早く発見できるかが注目されます。