出典：OpenAI公式
詳細を読む
OpenAIは、推論モデルが自らの思考連鎖（Chain of Thought）を意図的に制御できるかを調査した研究を発表しました。AIエージェントの自律性が高まるなか、思考過程の監視可能性が安全対策の鍵となっています。
研究チームはCoT-Controlというオープンソースの評価スイートを開発し、GPQAやSWE-Bench Verifiedなど既存ベンチマークから1万3000以上のタスクを構築しました。各タスクでは「小文字のみ使用」「特定キーワード回避」など、思考連鎖への具体的な指示への準拠度を測定しています。
13の推論モデルを評価した結果、すべてのモデルが思考連鎖の制御に苦戦し、フロンティアモデルでも成功率は最大15.4%にとどまりました。モデルが指示違反を自覚した後も制御できない事例が多数確認され、この低い制御能力は監視回避が困難であることを示唆しています。
興味深いことに、モデル規模が大きいほど制御性はやや向上する一方、強化学習の追加訓練や推論時間の延長により制御性は急速に低下しました。OLMo-3-7B-RL-Zero-Mathでは訓練過程で制御スコアが10分の1以下に減少しており、ポストトレーニングが監視可能性を高める方向に働くことが示されました。
OpenAIは今後、GPT-5.4 Thinkingを皮切りに、フロンティアモデルのシステムカードでCoT制御性をCoT監視可能性と併せて報告する方針です。ただし低制御性だけでは監視の堅牢性は保証されず、最適化圧力など他の要因による劣化の可能性もあるため、継続的な評価が不可欠と結論づけています。