Command Palette
Search for a command to run...
EvoEmbedding : Représentations Évoluables pour la Récupération de Contexte Long et la Mémoire Agentic
EvoEmbedding : Représentations Évoluables pour la Récupération de Contexte Long et la Mémoire Agentic
Chang Nie Chaoyou Fu Junlan Feng Caifeng Shan
Résumé
Les modèles d'embedding existants sont intrinsèquement statiques : ils encodent des segments de texte de manière isolée, en ignorant leur contexte environnant et leur ordre temporel. Cet article présente EvoEmbedding, un modèle d'embedding novateur qui génère des représentations évolutives pour la récupération. Il est spécifiquement conçu pour des scénarios à long contexte, où l'information est dynamique, séquentielle et nécessite un suivi continu de l'état. Notre architecture est simple : EvoEmbedding maintient une mémoire latente continuellement mise à jour lors du traitement séquentiel des entrées, et l'utilise conjointement avec le contenu brut pour générer des embeddings évolutifs. Par conséquent, pour une même requête, notre modèle adapte sa représentation afin de récupérer des cibles distinctes en fonction du contexte évolutif, dépassant ainsi le cadre de la recherche sémantique statique. Pour doter le modèle de cette capacité, nous constituons EvoTrain-180K, un ensemble de données diversifié permettant l'optimisation conjointe de la mémoire latente et de la récupération. Par ailleurs, nous introduisons une file d'attente mémoire afin de prévenir l'effondrement des représentations lors de l'encodage récurrent, ainsi que des techniques de lot par segment qui pallient une forte variance de longueur et accélèrent l'entraînement par un facteur de 3,8. Des expériences approfondies démontrent que notre modèle non seulement surpasse des modèles spécialisés de plus grande taille (par exemple, Qwen3-Embedding-8B et KaLM-Embedding-Gemma3-12B) sur une série de benchmarks de récupération à long contexte, mais qu'il généralise également efficacement à des tâches en aval (par exemple, la personnalisation) avec des contextes 10 fois plus longs que sa fenêtre d'entraînement. Il convient de noter qu'EvoEmbedding s'intègre de manière transparente aux workflows agentic afin d'améliorer les performances. Par exemple, un pipeline RAG basique équipé de notre modèle surpasse les systèmes de mémoire agentic dédiés. Page du projet : https://clare-nie.github.io/EvoEmbedding.