詳細を読む
Hugging Faceは2026年8月26日、トークン単位で照合するColBERT型のマルチベクトル埋め込みモデルを、自社データで学習・微調整する手法を公開しました。研究者のTom Aarsen氏は医療分野の質問応答データを使い、単一のRTX 3090で14.5時間学習したモデルが、密embedding・疎表現・語彙検索を含む主要な汎用検索モデルすべてを検索精度で上回ったと報告しています。
医療分野の評価では、最も強力だったゼロショットモデルに対しNDCG@10で0.062ポイントの差をつけました。具体的には、正解文書を検索1位で返す確率が75.8%から84.9%に向上し、1位の誤り率を3割以上削減しています。学習には100万件の質問と文書のペアを用い、対照学習の手法であるMultiVectorMultipleNegativesRankingLossを採用しました。
興味深いのは、学習の出発点として使うモデルの選び方です。大規模な対照学習は終えたものの汎用検索用の教師あり微調整をまだ受けていない、いわゆる「教師前」のチェックポイントの方が、完成済みの汎用モデルよりも新しい領域への適応力が高いことが分かりました。完成済みモデルは学習率を変えても性能がほとんど向上せず、むしろ悪化する場合すらあったといいます。
医療分野の文書は平均941トークンと長く、多くの既存モデルが180〜512トークンで文書を打ち切って学習しているため、精度を最大0.24ポイントも損なっていたことも判明しました。学習時は文書長の制限を解除し、学習率を通常より高い1e-4に設定することが有効だったと説明しています。少ないデータでも効果は大きく、10万件・75分の学習でも100万件学習時の精度に0.012ポイント差まで迫りました。
マルチベクトル方式の弱点は索引サイズです。20万件の文書からなる索引は非圧縮で約45ギガバイトに達し、単一ベクトル方式の1ギガバイト未満と比べて大きくなります。そこで1ビットの残差量子化と枝刈りを組み合わせたところ、索引を13分の1の3.37ギガバイトまで圧縮しても精度低下はわずかで、最小構成では1.45ギガバイトまで縮小しつつ大規模な汎用モデルを上回る精度を維持できたとしています。