T-Mobile、顧客対応AIの情報を絞り精度改善
詳細を読む
T-Mobileは顧客対応AIに社内文書を大量に与えた結果、かえって誤回答が起きたと明らかにしました。サポート資料に矛盾する案内があり、顧客の言葉が複数の手続きに当てはまるため、AIが誤った経路を選ぶことがありました。同社は情報を事前に絞り、頻出する質問表現と対応先を結ぶ検索表へ切り替えています。
同社のCIO、Jeff Simon氏によると、初期の試みでは大きなコンテキスト窓に顧客サポート資料をまとめて読み込ませましたが、期待通りに機能しませんでした。次に導入した知識グラフも、顧客対応中にエージェントが情報を探すのに時間がかかり、質問の解釈を誤ると別の経路に迷い込む問題がありました。
現在はキー・バリュー型データベースに検索表を置き、顧客がよく使う言い回しを、次に進むべき処理へ対応づけています。新しい表現が現れれば表を更新し、振り分け役のエージェントが顧客の意図を確認してから、該当する情報を持つ担当エージェントへ依頼します。T-Mobileは、この仕組みが高速で応答性と拡張性に優れると説明しています。
同社はチャットや音声の各対話で、本番モデルと並行して小型言語モデルも動かし、誤回答や顧客の怒りを検知して人の確認につなげます。過去には、情報検索中にモデルが存在しない保留音を作り出す問題も見つかり、プロンプトで生成しないよう指示しました。二つ目のモデルの運用には費用がかかりますが、想定外の質問表現も把握するために必要だとしています。
VentureBeatが実施した調査では、企業データを扱うAIエージェントを導入した回答者の78%が、過去6カ月に不足または不整合な業務文脈に起因する、確信を伴う誤回答を少なくとも一度経験したと答えました。経験者のうち、誤情報が外部に伝わったり、公式報告に載ったり、判断や行動の取り消しにつながったケースも報告されています。企業がエージェントを構築する際は、必要な情報をどう選び、誤りをどう検知するかが実務上の課題です。