詳細を読む
Tony Wu氏とAurélien Lac氏は2026年9月3日、画像と多言語テキストを単一のTransformerで処理する基盤エンコーダー「NeoMME」を公開しました。260Mと800Mの2モデルをApache 2.0で提供し、生成用デコーダーを省く設計により、文書画像検索の速度、精度、索引容量の両立を狙います。
NeoMMEは、画像を32×32画素のパッチに分割し、テキストと同じ単一の双方向Transformerへ入力します。最大1万6384トークンの文脈長と動的な画像解像度に対応し、別々の視覚エンコーダーや言語デコーダーを持ちません。
事前学習では、多言語テキスト、コード、数学、自然画像、文書画像を混ぜ、各モデルが約5240億の入力トークンを処理しました。テキストを隠して復元するマスク拡散学習を使い、画像付きデータでは高いマスク率により、画像に基づく説明を学ばせています。
文書検索向けのNeoMME-Retrieverは、1回の推論で密ベクトルと遅延相互作用ベクトルを同時に返します。ViDoRe v3では260M版がnDCG@10で0.523となり、評価対象の8億未満モデルで最高でした。NVIDIA L40S上の2048×2048入力では毎秒約51ページを処理し、ColModernVBERTの約26ページのほぼ2倍です。
遅延相互作用索引は高解像度ほど膨らみ、ViDoRe v3で平均約1.5MB／ページでした。階層的トークンプーリングと非対称量子化を組み合わせると、39kBで基準精度の99％超、6kBで95％超を維持しました。利用者は保存予算と検索品質に応じて圧縮設定を選べます。
実務では、PDFページを画像のまま索引化するため、OCR前処理を省き、表や図、配置などの手掛かりを保てます。全チェックポイントはApache 2.0で公開され、Hugging Face Transformersから利用できます。