要約

我々は、Gemma 3言語モデルファミリーを基盤とする、軽量でオープンなテキスト埋め込みモデル「EmbeddingGemma」を紹介する。本モデルは、エンコーダ-デコーダ初期化と幾何学的埋め込み蒸留を活用した独自のトレーニング手法により、大規模モデルから知識を戦略的に抽出することに成功した。さらに、広がりを促進する正則化項を導入することでモデルのロバスト性と表現力を向上させ、多様かつ最適化された混合モデルのチェックポイントを統合することで汎化性能を確保した。マルチリンガル、英語、コード領域をカバーするマスIVEテキスト埋め込みベンチマーク（MTEB）における評価において、EmbeddingGemma（300Mパラメータ）は最先端の性能を達成した。特に、5億パラメータ未満の規模で、従来の優れた商用モデルおよびオープンモデルを上回り、サイズが2倍のモデルと同等の性能を発揮する。これは、優れたパフォーマンス対コスト比を実現している。さらに、モデル重みの量子化や埋め込み出力の切り詰めを行っても、その性能優位性は維持される。この特性から、EmbeddingGemmaはデバイス内アプリケーションなど、低レイテンシかつ高スループットを要する用途に特に適している。本研究では、主要な設計選択の妥当性を検証するアブレーションスタディも実施した。本モデルをコミュニティに公開することで、さらなる研究の促進を目指す。