AIエージェント評価、単体採点から集団比較へ転換

AIエージェントの評価手法が、個別の会話を採点する方式から、利用者集団を基準値と比較する方式へと移りつつあります。VB Transform 2026で、LangChainのハリソン・チェイスCEO、ConvivaのCTOフイ・ジャン氏、CoreWeaveのエンジニアリング担当ディレクターのエマニュエル・ターレイ氏が、この変化とより安価で用途を絞った判定モデルへの流れを語りました。単体では完璧に見える会話でも、実は製品の欠陥を示している場合があるためです。

ジャン氏が問題視するのは、多くのチームが50件や全件のトレースを抽出し、それぞれを孤立して採点する点です。氏が対比分析と呼ぶ、利用者集団を基準値と比較する方法でしか見えない信号を見逃すというのです。ランニングシューズを買う客の例では、個別会話は問題なく見えても、購入前の質問回数が基準の3倍、会話外での購入完了が5倍に達し、カテゴリー固有の不具合が浮かび上がりました。

チェイス氏は、出荷前に網羅的な評価スイートを作ろうとする姿勢を戒めます。「最高のチームはまず投入し、そこから改善する」と述べ、評価基準を一度きりのテストではなく生きた仕様書と位置づけました。「評価は新たなPRD（製品要求仕様）だ」との言葉通り、エージェントが何をすべきかを定義する役割を担います。ターレイ氏もテスト網羅率100%を目指しても本番でバグが残った経験を挙げ、広く常時監視する方が実際の失敗を多く捉えると語りました。

判定モデルのコストも焦点です。ターレイ氏はまず最上位モデルで課題が解けると証明し、そこから小型モデルへ下げる手順を推奨します。LangChainはAlibabaのQwenを微調整し、利用者がエージェントの誤りを認識した瞬間を検出するモデルを構築、Claude Sonnet並みの精度を10〜100分の1のコストで実現しました。すべての防護策にモデルが要るわけではなく、Claude Codeの防護策の多くは正規表現だったといいます。

一方で、人間の関与をなくせるかという問いには全員が慎重です。ターレイ氏は自動運転車の開発経験から、最終的な承認と法的責任は人が負う必要があると指摘しました。ジャン氏も難しい事例では人間が守り手であり続けると同意します。チェイス氏はさらに踏み込み、人間の確認は安全網にとどまらず、システムが学習し信頼を築くうえで欠かせないと強調しました。