AIがAIを進化させる時代へ。でも「人間が監視できるのか」が難しくなる

OpenAI Chief ScientistのJakub Pachocki氏が9月6日、「An Alien Mind」を公開しました。

内容はかなり踏み込んでいます。

現在のAI進歩が続けば、AIがAI開発そのものを加速するRecursive Self-Improvementへ進む可能性が高い。

一方で、その速度に安全性と監視が追いついていないという話です。

同日にOpenAIが発表した「AI研究インターン」と合わせて読むと分かりやすいです。

AIが研究を手伝う。

AIが研究作業を任される。

AIがAI研究そのものを加速する。

能力向上と同時に「AIをどう監視するか」がボトルネックになっていく可能性があります。

Pachocki氏は、モデルがツールや他AIと複雑にやり取りし、自分自身の推論過程を扱う能力も上がることで、Chain-of-Thought監視への依存が難しくなっていると説明しています。

長く動いてほしい。

複数並列で働いてほしい。

承認回数も減らしたい。

でも、人間が何も見なくていいわけではありません。

全部を人間が確認するのではなく「重要なところで止められる」「異常時に人間へ戻す」という監視設計が、能力そのものと同じくらい重要になりそうです。