Résumé

Nous présentons EmbeddingGemma, un nouveau modèle léger et open-source d’encodage de texte basé sur la famille de modèles linguistiques Gemma 3. Notre méthode d’entraînement innovante capte de manière stratégique les connaissances des modèles plus grands grâce à une initialisation encodeur-décodeur et à une distillation géométrique des embeddings. Nous améliorons la robustesse et l’expressivité du modèle grâce à un régulariseur à répartition étendue, et assurons sa généralisation en fusionnant des points de contrôle issus de mélanges variés et optimisés. Évaluée sur le Massive Text Embedding Benchmark (MTEB) dans des domaines multilingues, anglais et codés, EmbeddingGemma (300M) atteint des résultats de pointe. Notamment, il dépasse les modèles précédemment meilleurs, qu’ils soient propriétaires ou open-source, avec moins de 500 millions de paramètres, tout en offrant une performance comparable à celle de modèles deux fois plus volumineux, ce qui lui confère un rapport performance/coût exceptionnel. De manière remarquable, ce leadership se maintient même après quantification des poids du modèle ou troncation des sorties d’embedding. Cela rend EmbeddingGemma particulièrement adapté aux cas d’usage exigeant faible latence et haut débit, tels que les applications embarquées. Nous fournissons des études d’ablation explorant nos choix fondamentaux de conception. Nous mettons EmbeddingGemma à disposition de la communauté afin de stimuler des recherches ultérieures.