摘要

我们推出了 EmbeddingGemma，这是一个基于 Gemma 3 语言模型系列的新一代轻量级、开源文本嵌入模型。通过创新的训练方法，该模型利用编码器-解码器初始化和几何嵌入蒸馏，有效从更大规模模型中提取知识。我们引入一种分散正则化器，显著提升了模型的鲁棒性与表达能力，并通过融合来自多种优化混合策略的检查点，确保了模型的泛化性能。在涵盖多语言、英文及代码领域的海量文本嵌入基准测试（MTEB）中，EmbeddingGemma（300M）取得了当前最优的性能表现。值得注意的是，该模型在参数量少于 5 亿的情况下，超越了此前所有专有及开源的顶尖模型，其性能可与参数量为其两倍的模型相媲美，展现出卓越的性能-成本比。尤为突出的是，即使在模型权重量化或嵌入输出截断的情况下，其性能优势依然保持稳定。这一特性使 EmbeddingGemma 特别适用于低延迟、高吞吐量的应用场景，例如设备端部署。我们还提供了消融实验，深入探讨了关键设计选择的影响。目前，我们已将 EmbeddingGemma 开源发布，以推动相关领域的进一步研究。