Google startet EmbeddingGemma 2 für On-Device-Embeddings
Google hat mit EmbeddingGemma 2 ein leichtgewichtiges, multimodales Embedding-Modell veröffentlicht, das die auf der Erstversion erworbene Popularität von über 20 Millionen Downloads systematisch erweitert. Das offene Modell unter der Apache-2.0-Lizenz basiert auf der Gemma-4-Architektur und der Technologiebasis der Gemini-Embedding-Modelle. Mit 740 Millionen Parametern ist es speziell für die lokale Inferenz auf Consumer-Hardware konzipiert und vereint Text, Code, Bilder, Video und Audio in einem gemeinsamen Einbettungsraum. Im Gegensatz zum rein textbasierten Vorgänger unterstützt EmbeddingGemma 2 nun auch nicht-textuelle Datenquellen und liefert dabei führendes Ergebnisverhalten in seiner Modellgröße. Für reine Textaufgaben genügen bereits 270 Millionen Parameter, während optionale Encoders für Vision und Audio die vollständige multimodale Nutzung ermöglichen. Durch das Matryoshka Representation Learning lassen sich Ausgabevektoren dynamisch von 768 auf 512, 256 oder 128 Dimensionen reduzieren, was den Speicherbedarf in lokalen Vektordatenbanken um bis zu 600 Prozent senkt. Die Optimierung für Endgeräte zeigt sich in extrem niedrigen Arbeitsspeicheranforderungen. Auf einem Pixel 11 Pro belegt das Modell im Textmodus rund 191 Megabyte, im vollständigen multimodalen Modus etwa 567 Megabyte. Ein Kontextfenster von 8.000 Token erlaubt die direkte Verarbeitung von bis zu 5,5 Minuten Audio, 29 Bildern oder 58 Videoframes ausschließlich auf lokaler Hardware. Technisch überzeugt das Modell insbesondere bei der Code-Indexierung und semantischen Code-Suche, wo es auf dem MTEB-Code-Benchmark einen Wert von 78,68 erreicht und damit eine Verbesserung von fast zehn Punkten gegenüber der Vorgängerversion verzeichnet. Die Veröffentlichung richtet sich primär an Entwickler, die datenschutzfreundliche, On-Device-Lösungen für Suche und Retrieval-Augmented-Generation aufbauen möchten. Durch die offene Lizenzierung und die hohe Rechengrafik-Effizienz ermöglicht EmbeddingGemma 2 eine breite Anwendung lokaler KI-Pipelines, ohne dabei auf Cloud-Ressourcen angewiesen zu sein. Erste Integrationshinweise und technische Anleitungen für den Einsatz mit LiteRT sind bereits öffentlich verfügbar.
