詳細を読む
WEKAの最高AI責任者、ヴァル・ベルコビッチ氏は11月、VentureBeat主催の会議で、企業のAIエージェント運用はGPU台数や消費トークン数ではなく、完了した仕事当たりの費用で測るべきだと述べました。複数エージェントは処理を速める一方、単一エージェントより費用が膨らむ場合があります。GPUメモリーに置いた計算済み文脈を再利用し、同じ処理を繰り返さないことも重要です。
評価機関Vals AIの調査では、複数エージェントのチームは単一エージェントの1.8〜5.1倍のトークンを使い、品質の上昇はほとんど測れない水準でした。金融部門などでは、トークン消費量を増やす運用から、成果に照らして利用量を管理する方向へ移っています。
ただし、成果当たりの総費用を出すのは簡単ではありません。Upworkの基盤インフラ担当副社長は、社内のAIゲートウェイでモデル利用料を追跡しているものの、学習・追加調整、人による修正、ツール呼び出しのCPU費用は別管理だと説明しました。独立した評価機関の品質・費用測定を参照しつつ、費用項目を横断して把握する必要があります。
エージェント間で受け渡す文脈には、推論中の短期記憶であるKVキャッシュと、過去のセッション情報を保つ長期記憶があります。キャッシュがGPUの高速メモリーからあふれると、別のエージェントが同じ文脈を再計算するため、企業は計算能力を使い切らないまま高価なGPUを追加しかねません。
ベルコビッチ氏は、計算済みの文脈を共有フラッシュストレージに保持し、必要な時に読み戻す方法を挙げました。推論処理をまとめる「メガカーネル」などのソフトウェア改善も、GPUの処理時間を回収できます。AIの運用費を下げるには、計算資源の追加だけでなく、成果の測定と文脈の再利用を組み合わせることが焦点です。