AnthropicがMETRに社内でのAI評価を開放。6人のアクセス範囲と、結果を公表できる条件

AIを開発する会社の外から、安全性をどこまで確かめられるのか。Anthropicは10月15日、外部評価機関との協力体制を説明し、METRの担当者が同社の内部環境に入って評価を進められる仕組みを明らかにしました。

METRの6人に、リスク評価担当者に近い環境

対象はMETRの6人の職員です。ハードウェアやオフィス、内部システムへのアクセスが提供され、Anthropicのリスク評価担当者におおむね近い環境で作業できます。一般公開されたサービスを外から試すだけでは見えにくい情報にも触れられることが特徴です。

ただし、METR全体へ無制限に社内情報を開放するものではありません。契約した小規模なチームが対象で、それ以外のMETR職員とは情報の扱いを分ける仕組みです。

顧客データなどは対象外。すべての内部情報が見えるわけではない

アクセスからは、顧客データや弁護士との秘密情報など、定められた種類の情報が除外されます。モデルの設計に関する情報も原則として対象外ですが、明示的な社内承認で共有できる場合があります。

「社員並み」という説明だけで、あらゆる部署の情報やすべてのモデル内部へ自由にアクセスできると考えるのは正確ではありません。評価に必要な情報へ近づけることと、情報管理上の境界を設けることが両立した体制です。

結果の公表を拒否できない。ただし限定的な削除条件はある

Anthropicは、METRによる結果の公表に拒否権を持たないと説明しています。一方で、あらかじめ定められた種類の情報については、限定的な削除を求めることができます。

METRは、伏せられた情報そのものを漏らさずに、その削除要求への異議を公に述べられます。何でもそのまま公開できるわけではありませんが、会社側が不都合な結論を一方的に止める仕組みとも異なります。

評価に使える情報の範囲と、結果を独立して公表できる条件。この2つを分けて見ると、今回の仕組みの意義と限界が分かります。

他の協力先が同じ権限を持つわけではない

AnthropicはSecureBioとの協力や、Accenture・Facultyとのより広い提携計画にも触れています。ただし、SecureBioのアクセスと公表条件はMETRより限定的で、他社との計画もMETRと同じ権限がすでに提供されたという説明ではありません。

今回の取り組みは安全性を保証する証明ではなく、外部の目で確かめるための仕組みです。どんな問題が見つかり、製品や開発の改善へどう結びつくのかを、実際の評価結果から見ていく必要があります。