TypeSafe AIの判断モデル、低遅延と低コストで注目
詳細を読む
米新興企業TypeSafe AIは9月15日、選択肢から判断するAIモデル「Jev」を公開しました。同社は大規模言語モデル(LLM)より高速・低コストで、事実と異なる文章を生成する「ハルシネーション」が起きないと説明しています。独立評価では応答速度の優位が示された一方、判断を誤る問題は残り、用途に応じた検証が欠かせません。
Jevは質問に対して事前に定めた形式で答え、候補ごとの確率も示します。LLMのように単語を順番に生成しないため、TypeSafe AIは応答時間を70〜500ミリ秒としています。カーネギーメロン大学の研究者らによる評価では、複数のベンチマークで中央値150ミリ秒となり、比較対象のGPT-6 Astraは1.89秒でした。
この方式は、候補を分類する従来型モデルに似ています。ただし、LLM由来の汎用性を保ち、迷惑メールやフィッシング、プロンプトインジェクションの検出など、複数の業務に使えるとクラウドフレアは説明します。個別用途ごとに大量のデータを集め、専用モデルを調整する手間を減らせる可能性があります。
出力候補を限定すれば、文章としてのハルシネーションは抑えられますが、選択そのものの誤りはなくなりません。研究では、質問文から判断しやすい課題では良好な一方、計算や論理パズルで性能が落ち、専門知識を要する医療・金融・法律でもLLMを下回りました。
一方、Jevの確信度が低い回答をGPT-6に渡す併用方式は、GPT-6単独をわずかに上回る精度を、費用41%で実現したと研究者らは報告しています。TypeSafe AIは最近、評価額75億ドルで8億7000万ドルを調達し、各社が判断モデルを相次ぎ開発しています。まず定型的な判定を担わせ、難しい推論をLLMに回す設計が実務での焦点になりそうです。