IBMが97Mパラメータで最高精度の多言語埋め込みモデルを公開
詳細を読む
IBMは2026年5月14日、オープンソースの多言語埋め込みモデル「Granite Embedding Multilingual R2」を発表しました。97Mパラメータのコンパクトモデルと311Mパラメータのフルサイズモデルの2種類で、いずれもApache 2.0ライセンスのもと、200以上の言語と9種類のプログラミング言語に対応します。
最大の注目点は97Mパラメータモデルの検索性能です。MTEB多言語検索ベンチマークで60.3を記録し、100M未満のオープンな多言語埋め込みモデルとしては最高スコアとなりました。同規模で次点のmultilingual-e5-smallの50.9を9.4ポイント上回っています。前世代のR1モデルからはアーキテクチャの刷新やトレーニング手法の改良により、12.2ポイントの大幅な改善を実現しています。
技術面では、エンコーダをXLM-RoBERTAからModernBERTに刷新し、コンテキスト長を512トークンから32,768トークンへ64倍に拡大しました。これにより長文文書の検索精度が劇的に向上し、LongEmbedベンチマークでは31.3ポイントの改善を記録しています。法務文書や技術マニュアルなど、実務で扱う長い文書の検索において大きな恩恵をもたらします。
311MモデルはMatryoshka表現学習に対応しており、768次元の埋め込みを256次元に削減してもMTEB多言語検索で0.5ポイント低下にとどまります。ストレージや計算コストを3分の1に抑えつつ高い検索品質を維持できるため、大規模な本番環境への導入に適しています。
企業利用を強く意識した設計も特徴です。MS-MARCOデータセットや非商用ライセンスのデータを使用せず、IBMが独自にキュレーションしたデータで学習しています。sentence-transformersやLangChain、LlamaIndex、Haystack、Milvusといった主要フレームワークにモデル名を1行変更するだけで導入できるため、既存のRAGパイプラインへの組み込みも容易です。ONNX・OpenVINO形式のウェイトも同梱されており、GPUなしでのCPU推論にも対応しています。