DeepMind、AIの「事実性」測る新指標「FACTS」発表

4つの視点で正確性を評価

内部知識や検索能力を多角的に測定
画像理解を含むマルチモーダルにも対応
公開・非公開セットで過学習を防止

Gemini 3 Proが首位

総合スコア68.8%で最高評価を獲得
前世代より検索タスクのエラーを55%削減
全モデル70%未満と改善余地あり
詳細を読む

Google DeepMindは2025年12月9日、Kaggleと共同で大規模言語モデル(LLM)の事実性を評価する新たな指標「FACTS Benchmark Suite」を発表しました。AIがビジネスの意思決定や情報源として浸透する中、回答の正確さを担保し、ハルシネーション(もっともらしい嘘)のリスクを可視化することが狙いです。

本スイートは、AIの内部知識を問う「Parametric」、Web検索を活用する「Search」、画像情報を解釈する「Multimodal」、そして文脈に即した回答能力を測る「Grounding」の4つのベンチマークで構成されています。単なる知識量だけでなく、ツールを使って正確な情報を収集・統合する能力も評価対象となる点が特徴です。

評価結果では、同社の最新モデル「Gemini 3 Pro」が総合スコア68.8%で首位を獲得しました。特に検索能力において、前世代のGemini 2.5 Proと比較してエラー率を55%削減するなど大幅な進化を見せています。一方で、マルチモーダル分野のスコアは全体的に低く、依然として技術的な課題が残されています。

全モデルの正解率がいまだ70%を下回っている現状は、AIの完全な信頼性確立には距離があることを示しています。経営者エンジニアは、FACTSスコアを参考にしつつ、用途に応じたモデル選定と人間による最終確認のプロセスを設計することが、生産性と安全性を両立する鍵となります。