Apple Intelligence / AI
AIは増やせば強くなる? Anthropicの研究が示す協調の難しさ
Anthropicの研究では、利用者ごとにAIを割り当てた構成が、1つのAIが全員を担当する構成を4つの実験環境すべてで下回りました。対象は共有資源を扱うシミュレーションです。
りんご好きringozuki.comAnthropicの研究では、利用者ごとにAIを割り当てた構成が、1つのAIが全員を担当する構成を4つの実験環境すべてで下回りました。対象は共有資源を扱うシミュレーションです。
利用者ごとのAIが、同じ資源を使う
11月11日公開の「Worse Together」は、複数の人がそれぞれAIエージェントへ仕事を任せたとき、全体として協調できるかを調べた研究です。Anthropic Fellows Programの参加者らが、Anthropic、OpenAI、Alibabaのモデルで検証しました。
予算やコードなどを共有する4つの環境で、利用者別のAIが連携する構成と、1つのAIが全員に対応する構成を比較。今回の条件では、4環境とも後者のグループ成果が上回りました。
ほかの人の依頼を上書きする問題
報告された問題には、チームが大きくなると仕事が進まなくなることや、別の利用者の依頼を上書きする行動などがあります。発生する問題はモデルと環境によって異なりました。
自分の依頼を進めようとしても、同じ予算や成果物を扱う別のAIとの調整がなければ、全員にとって良い結果になるとは限りません。
効いた対策も、環境ごとに違う
予算を共有する環境では、リーダー役と明確な優先順位が改善につながりました。共同注文では、メッセージを読んでから注文できるようにする仕組みが、単純な再実行より多くの失敗を救ったとしています。
研究チームは4環境のうち3つをMAMUBenchとして公開しました。すべての複数AI方式が単一AIより劣るという証明ではありません。
独立した仕事を並列に進める仕組みへ、そのまま結果を当てはめることもできません。評価するときにはAIの数だけでなく、誰が優先順位を決め、情報を共有し、どこで確認するかも見る必要があります。
情報源:Anthropic ↗