Google lance EmbeddingGemma 2, embedding multimodal léger
Google a lancé EmbeddingGemma 2, une nouvelle version de son modèle d'embeddings multimodal conçu pour fonctionner directement sur les appareils des utilisateurs. Suivant le franc succès de sa première version, déjà téléchargée plus de vingt millions de fois pour des applications de recherche locale et de génération augmentée par récupération respectueuse de la vie privée, cette mise à jour élargit considérablement ses capacités. Construit sur l'architecture Gemma 4 et distribué sous licence Apache 2.0, le modèle compte 740 millions de paramètres, ce qui le rend idéal pour l'inférence embarquée sans compromettre la qualité. La principale avancée réside dans son approche multimodale unifiée. Contrairement à son prédécesseur réservé au texte, EmbeddingGemma 2 intègre désormais le code, les images, la vidéo et l'audio dans un espace d'embedding commun. Il permet ainsi de rechercher un extrait vidéo à partir d'un enregistrement vocal ou de naviguer dans des heures de fichiers audio via une requête textuelle, le tout traité par un seul modèle natif. S'appuyant sur les technologies des modèles Gemini Embedding, il atteint des performances de premier ordre pour sa taille, surpassant même certains modèles spécialisés deux fois plus volumineux sur les tâches visuelles, auditives et textuelles. Conçu avec modularité et efficacité, le modèle peut fonctionner avec seulement 270 millions de paramètres pour du texte uniquement, tandis que des modules optionnels ajoutent la vision et l'audio. Grâce à une technique d'apprentissage de représentation matryoshka, les développeurs peuvent réduire dynamiquement la dimension des vecteurs de sortie, passant de 768 à 128 ou 256 dimensions. Cette fonctionnalité offre jusqu'à six fois moins d'espace de stockage pour les bases de données vectorielles locales, tout en préservant la précision des requêtes. L'optimisation pour les appareils mobiles est également au cœur du développement. Sur des smartphones récents, le modèle ne nécessite qu'environ 191 mégaoctets de mémoire vive pour le traitement textuel et 567 mégaoctets pour la version complète. Sa fenêtre de contexte a été quadruplée à 8 000 tokens, permettant d'analyser directement sur l'appareil jusqu'à cinq minutes et demie d'audio, vingt-neuf images ou cinquante-huit images vidéo. Les améliorations portent particulièrement sur le traitement du code, facilitant l'indexation locale de bases de code et la recherche sémantique. En réduisant la dépendance au cloud et en garantissant le traitement des données en local, EmbeddingGemma 2 renforce les pratiques de confidentialité tout en démocratisant l'usage de l'intelligence artificielle multimodale sur le matériel grand public.
