出典：Google公式
詳細を読む
Googleは11月10日、Artificial Analysisとの協業で、視覚情報を含む実務をAIエージェントがどこまで遂行できるか測る「MKA（Multimodal Knowledge Agent）」ベンチマークを公開しました。建築図面や技術資料の照合、報告書や表計算の作成など、画像やページ構成の理解が欠かせない仕事を評価します。
評価セットは10業界、83職種の専門家が作成した200課題です。各課題は熟練者が3〜8時間かける複数工程の仕事を模し、入力ファイルと採点基準を組み合わせています。採点は事実の正確さを75％、視覚的なデザインを25％の比重で評価します。
比較するモデルは、オープンソースのエージェント環境「Stirrup」で同じツール、実行環境、操作回数の上限を使います。Google以外のモデルを基盤にした自動採点者が成果物を開き、ページを表示し、表計算の数式も確認します。専門家の採点との一致率は96％だったとGoogleは説明しています。
技術報告書によると、評価対象モデルは課題完了まで平均30〜130回の操作を要し、効率に大きな差がありました。GoogleのGemini 4 Carbonは品質で2位となり、首位モデルに比べて平均費用を6分の1に抑えたとしています。
本評価の200課題は学習データへの混入を防ぐため非公開ですが、形式を確認できる別の10課題はHugging Faceで公開されています。企業が自社のモデルやエージェントを試す際、文章だけでなく視覚理解や成果物の仕上がりも含めて比較できる点が特徴です。