Abstract

Wir stellen EmbeddingGemma vor, ein neuartiges, leichtgewichtiges und offenes Text-Embedding-Modell, das auf der Sprachmodellfamilie Gemma 3 basiert. Durch eine innovative Trainingsstrategie erfassen wir gezielt Wissen aus größeren Modellen mittels Encoder-Decoder-Initialisierung und geometrischer Embedding-Distillation. Mit einem „spread-out“-Regularisierer verbessern wir die Robustheit und Ausdruckskraft des Modells und gewährleisten dessen Generalisierbarkeit durch die Kombination von Checkpoints aus diversen, optimierten Mischungen. Auf dem Massive Text Embedding Benchmark (MTEB), evaluiert über mehrsprachige, englischsprachige und Code-Domänen, erreicht EmbeddingGemma (300 M) Stand der Technik. Insbesondere übertrifft es sowohl proprietäre als auch offene Top-Modelle mit weniger als 500 M Parametern und bietet eine Leistung, die vergleichbar ist mit Modellen doppelter Größe – mit einer herausragenden Leistung-zu-Kosten-Relation. Erstaunlicherweise bleibt dieser Vorsprung auch bei Quantisierung der Modellgewichte oder Kürzung der Embedding-Ausgaben erhalten. Dies macht EmbeddingGemma besonders gut geeignet für Anwendungen mit geringer Latenz und hoher Durchsatzrate, beispielsweise auf Geräten vor Ort. Wir präsentieren Ablation-Studien, die unsere zentralen Design-Entscheidungen untersuchen. EmbeddingGemma stellen wir der Forschungsgemeinschaft zur Verfügung, um weiterführende Forschung zu fördern.