最先端LLMでも文書の25%を静かに破壊する

Microsoft Researchの研究チームが、LLMに文書編集を委任する作業の信頼性を測定するベンチマーク「DELEGATE-52」を開発しました。52の専門領域にわたる310の作業環境で、20回の連続編集をシミュレーションした結果、全モデル平均で文書内容の50%が劣化し、Gemini 3.1 Pro、Claude 4.6 Opus、GPT 5.4といった最先端モデルでも25%が破損することが判明しています。

特筆すべきは破損のパターンです。小さなエラーが徐々に蓄積するのではなく、劣化の約80%は1回のやり取りで文書の10%以上が消失する突発的な大規模障害によって引き起こされます。さらに弱いモデルが主にコンテンツを削除するのに対し、高性能モデルは既存の内容を巧妙に書き換えてしまうため、人間のレビューで発見するのが極めて困難です。

コード実行やファイル操作などの汎用ツールをエージェントに与えると、むしろ平均6%性能が悪化することも示されました。研究者は、汎用ツールではなく、ドメイン固有の狭い範囲に絞ったツールを構築すべきだと指摘しています。RAGパイプラインについても、単発の検索ベンチマークではなく複数ステップのワークフローで評価すべきだと警告しています。

研究チームは、完全自律型AIエージェントへの過度な期待に警鐘を鳴らしつつも、改善速度には楽観的な見方を示しています。GPTシリーズだけでも18か月で20%未満から約70%へとスコアが向上しました。ただし企業環境の規模と多様性を考えると、カスタムのドメイン特化ツール構築は今後も欠かせないと結論づけています。