NeoMME公開 単一Transformerの多モーダルエンコーダ

H Companyおよび研究者らが、単一双方向Transformer基盤のマルチモーダル・マルチリンガルエンコーダNeoMMEを発表した。260Mおよび800Mパラメータの2種類が用意され、従来の生成系ビジョン言語モデルと異なり、別途事前学習済み視覚エンコーダや因果言語モデルを含まない。テキストトークンと32×32画素の画像パッチを同一のTransformerパスで処理し、スクラッチからマスキング分散拡散Objectiveにより学習されている。日本語を含む多言語テキスト、コード、数式、画像を統合した131kトークンのカスタムBPEトークナイザーを採用し、16,384トークンの長文脈対応を可能にしている。 文書視覚検索向けにファインチューニングされたNeoMME-Retrieverは、1回のフォワードパスで高密度埋め込みと後期相互作用埋め込みの双方を出力する。ViDoRe v3ベンチマークにおいて、260MモデルはnDCG@10で0.523を記録し、800M未満の既存モデル中最も高い性能を達成。800Mモデルも同規模のVultron Retriever Flashに迫る0.556を記録し、モデルサイズと性能のPareto前沿に位置する。推論速度でも、NVIDIA L40S上で2048×2048解像度の画像を秒間約51ページ処理可能で、ColModernVBERTの約2倍の通過率を示した。 高解像度文書の後期相互作用インデックスは保存コストが課題となるが、階層的トークンプーリングと非対称量子化を組み合わせることで、1ページあたりのストレージを約1.5MBから6KBへ255倍圧縮し、ベースラインのnDCG@10を95％以上維持することに成功した。これにより、大規模ベクトルストアへのインデックス構築と更新コストを大幅に削減できる。 NeoMMEシリーズはHugging Face Transformersで実装され、Apache 2.0ライセンスでオープンソース公開されている。Sentence Transformers v6との互換性を確保し、各検索ヘッドを独立してファインチューニング可能だ。文書をOCR処理せずにページ画像のまま検索できるため、図表やレイアウト情報を保持するビジュアルRAGの基盤として直ちに活用できる。開発チームは本モデルの公開により、マルチモーダル表現学習の効率化と低コスト展開を促進する考えだ。