OpenAIのエージェント監視に弱点、METRが検証報告。修正説明と確認範囲を読む

AIエージェントに作業を任せるほど、その操作を把握する監視と、許可する操作を制限する仕組みが重要になります。METRは10月22日、OpenAIの内部エージェント監視を調べ、弱点を見つけたと公表しました。

この報告は、過去の特定の内部環境を対象とした検証です。現在のCodex利用者全員に同じ問題がある、あるいは実際の攻撃被害が確認された、という報告ではありません。

いつ、どのような条件で調べたのか

検証は7月21日から8月11日に行われ、7月21日以前の内部監視環境が対象でした。METRとRedwood Researchの研究者が1人ずつ参加し、内部に深くアクセスできる条件で調べています。

一般の利用者が通常の画面から使う場合とは条件が異なります。そのため、見つかった問題をそのまま公開サービス全体の状態へ広げて解釈することはできません。一方、詳しく調べられる立場だからこそ、監視の抜けを見つけられる面もあります。

操作の記録と権限管理は、別々に確かめる必要がある

報告では、監視に捉えられない操作や、Codexの権限管理に関する弱点が示されています。

監視は「何をしたかを把握すること」、権限管理は「何をしてよいかを制限すること」です。操作を許可の範囲に収められても、記録が不十分なら後から経緯を調べにくくなります。逆に、記録が残っても、許可していない操作を止められるとは限りません。

この違いはAIに限らないシステム設計上の論点ですが、エージェントが複数の道具を使って作業する場面では、両方を組み合わせる意味が大きくなります。

「修正した」と「第三者が再確認した」は異なる

OpenAIは、実運用の安全性に関わる問題を修正したと説明しています。一方、研究者はその修正後の状態を独立には再検証していません。

したがって、修正の説明があることは伝えられても、第三者による再確認が完了したとはいえません。同時に、再検証していないことだけを理由に、問題が今も残っていると断定することもできません。

研究結果の公表日と、実際に検証した時期にも間があります。現在のサービスの安全性を判断するには、その後の変更と確認状況も必要です。

AIを監視するAIにも、検証する仕組みが必要

AIによる監視は、多くの操作を継続して確認するための手段になり得ます。ただし、監視に使うAIが高度でも、そもそも見えていない操作や、権限の境界にある問題をすべて解消できるとは限りません。

利用者の立場では、何にアクセスを許可しているか、どの操作で確認を求めるか、作業履歴を見られるかが、任せる範囲を考える材料になります。これらは今回の報告を踏まえた一般的な視点であり、個別の利用環境で侵害が起きたことを示すものではありません。

今後は提供元の修正説明に加え、第三者が何をどこまで再確認したかにも注目したいところです。