Google、AIエージェント間の協調行動を訓練で自然発生させる手法を発表

Googleの「Paradigms of Intelligence」チームは、AIエージェントを多様な対戦相手のプールに対して分散型強化学習で訓練することで、ハードコードされた協調ルールなしに複数エージェント間の協調行動を自然発生させる手法を発表しました。この研究はエンタープライズ向けマルチエージェント展開の新たな指針を示しています。

従来のマルチエージェントシステムでは、各エージェントが自身の報酬を最大化しようとするため、ゲーム理論でいう「相互裏切り」状態に陥りやすいという課題がありました。たとえば2つの自動価格設定アルゴリズムが破壊的な値下げ競争を起こし、企業全体が損失を被るようなケースです。

本手法では、学習中のモデルとルールベースの静的プログラムを混合した多様な対戦相手プールを用意し、エージェントに相手の戦略を推測させます。文脈内学習により相互作用の履歴を解析し、リアルタイムで行動を適応させるため、コンテキストウィンドウの肥大化を招かずに効率的な協調を実現します。

LangGraphやCrewAIなどの既存フレームワークが状態遷移やルーティングロジックを明示的に定義するのに対し、本手法は訓練を通じて協調行動を生み出すアプローチです。標準的な強化学習アルゴリズム（GRPO等）で再現でき、特別なスキャフォールディングは不要とされています。

反復囚人のジレンマを用いた検証では、敵の情報が一切ない状態でもエージェントは試行錯誤を通じて安定した協調を達成しました。研究チームは、この成果により開発者の役割が個別ルールの記述から訓練環境の設計という戦略的役割へと進化すると述べています。