委任作業の落とし穴
詳細を読む
Microsoft Researchの研究チームが、LLMに文書編集を委任する作業の信頼性を測定するベンチマーク「DELEGATE-52」を発表しました。会計、ソフトウェア工学、結晶学、音楽記譜など52の専門領域にわたる310の作業環境を用意し、19のモデルに対して20回の連続編集タスクを実行させた結果、全モデル平均で文書内容の50%が劣化することが明らかになりました。
評価手法には機械翻訳のバックトランスレーションに着想を得た「往復リレー」方式が採用されています。編集指示とその逆操作をペアにし、元の文書がどれだけ正確に復元されるかを自動測定します。各ラウンドは独立した会話セッションで実施されるため、モデルは直前の作業を「覚えて元に戻す」ことはできず、純粋な編集能力が問われます。
Gemini 3.1 Pro、Claude 4.6 Opus、GPT 5.4といった最上位モデルでも平均25%の文書内容が損なわれました。注目すべきは劣化パターンの違いです。低性能モデルは内容を削除する傾向がある一方、高性能モデルはテキストを残しつつ微妙に歪曲・幻覚を混入させるため、人間による検出がはるかに困難になります。劣化の約80%は徐々に蓄積するのではなく、一度に10%以上の内容が失われる突発的な破局的失敗に起因していました。
実務への示唆も重要です。コード実行やファイル操作などの汎用ツールを与えると性能はむしろ6%悪化し、ドメイン特化型ツールの必要性が浮き彫りになりました。RAGパイプラインにおいても、ノイズの多いコンテキストは2回のやり取りでは1%の劣化にとどまるものの、長期シミュレーションでは2〜8%に膨れ上がります。研究者は、自律エージェントの導入には短く透明性の高いタスク設計と、段階的な人間レビューが不可欠だと指摘しています。