IBM、AIエージェントの一貫性格差を半減

IBM Researchは2026年9月15日、AIエージェントの反復成功を診断・改善するConsistency Analyzerを、オープンソースのALTK-Evolveに追加しました。GPT-4.1を使うReActエージェントの試験では、平均成功率77.4％に対し5回すべて成功した課題は53.0％で、新たな指針により一貫性格差を24.4ポイントから12.0ポイントへ縮めました。

一般的なMean@kは、課題をk回実行した成功率の平均であり、同じ課題を毎回解けるかは示しません。Pass^kは全k回に成功した課題の割合、Pass@kは少なくとも1回成功した割合で、再試行結果を選べない業務ではPass^kが再現性を測る指標になります。

不安定さは、次の語や操作を選ぶ確率が複数候補の間で拮抗する判断点から生じます。GPU計算や処理のまとめ方による小さな差でも選択が変わり、判断を何十回もつなぐエージェントでは差が累積するため、温度0や固定シードでも同じ結果を保証できません。

Consistency Analyzerは1本の実行履歴を使い、各判断点で既存の文脈から既定5件の応答候補を一度に再生成し、結果が変わりやすい箇所を採点します。判断点ごとに追加のモデル呼び出しが1回必要ですが、正解データ、モデル内部情報、ツールの再実行、課題全体の再試行は不要です。

検出した不安定な判断点から、検索結果を複数確認するなど再利用可能な指針を自動生成し、推論時にエージェントへ渡します。AppWorldの168課題を各5回試した評価では、Pass^5が53.0％から69.0％へ上がり、Mean@5も77.4％から81.0％へ改善して、平均精度を犠牲にしませんでした。

別の類似課題でもPass^5は13.0ポイント向上し、指針が単一の実行履歴だけを修正するものではない可能性を示しました。IBM Researchは、導入時にMean@kとPass^kを併記し、より大きなモデルへ替える前に難しい課題の一貫性格差を測るよう勧めています。