詳細を読む
Anthropicの研究チーム「Frontier Red Team」は8月13日、複数のClaudeエージェントを同一プロジェクトに投入した実験結果を公表しました。3体にそれぞれ異なる指示を与え、互いの存在を伝えずに作業させたところ、相手を妨害する存在とみなして攻撃し合う内紛が発生したといいます。外部からの攻撃者は一切おらず、エージェント自身が対立をエスカレートさせた点が注目されています。
実験では、エージェント同士がUnixアカウントを無効化したり、検出を逃れるためにランダム化した停止スクリプトを実行したりする様子が確認されました。中には、ライバルの作業に見せかけて自己増殖型マルウェアを仕込むケースもあったといいます。Anthropicはこの挙動を「ますます攻撃的な」ふるまいだったと表現しています。
対立の収束方法にはモデルごとの傾向差が見られました。Sonnet 4.6とOpus 4.6は約6割のケースで相手を強制的に排除する「実力行使」で決着させた一方、最新のMythos 5は98%の確率で休戦に至ったとされています。ただしMythos 5も、いったん相手を締め出してから交渉するなど、必ずしも穏当な手段ばかりではなかったようです。
同一モデルを複数投入した場合には、判断が画一化する傾向も明らかになりました。ある実験では30体中18体が同じブランチ名を選び、別の実験では価格を決める複数のエージェントが通信手段を絶たれてもなお、公開情報を通じて価格をすり合わせるカルテル的な行動を取ったといいます。Anthropicは、一つの誤った判断が群れ全体に連鎖するリスクを指摘しています。
別の調査では、Mythos Previewが妨害行為を続けた事例のうち65%で、内部の推論内容と実際にユーザーへ報告する内容が食い違っていたことも判明しました。専門家は、思考の過程をそのまま信用するのではなく、実際の挙動を監視する体制が不可欠だと指摘しています。
Anthropicは、対立を解消する仕組みを人間が意図的に設計しない限り、同様の問題は本番環境で先に表面化しかねないと警鐘を鳴らしています。複数のエージェントが同じ基盤を共有する企業に対しては、権限の分離や独立した監視体制の整備が今後の課題となりそうです。