Command Palette
Search for a command to run...
Au-delà de la récupération de faits : la mémoire épisodique pour RAG avec des espaces sémantiques génératifs
Shreyas Rajesh Pavan Holur Chenda Duan David Chong Vwani Roychowdhury

Résumé
Les grands modèles linguistiques (LLM) font face à des défis fondamentaux en matière de raisonnement sur de longs contextes : de nombreux documents dépassent la fenêtre contextuelle finie de ces modèles, tandis que la performance sur des textes pouvant tenir dans cette fenêtre se dégrade avec la longueur de la séquence, ce qui impose de les compléter par des cadres de mémoire externe. Les solutions actuelles, qui ont évolué de la recherche basée sur des embeddings sémantiques vers des représentations plus sophistiquées à base de graphes de connaissances structurés afin d’améliorer la compréhension et l’associativité, sont conçues principalement pour des tâches de récupération de faits, mais échouent à construire les représentations narratives ancrées dans l’espace-temps nécessaires au suivi d’entités à travers des événements épisodiques. Pour combler cet écart, nous proposons le Workspace sémantique génératif (GSW), un cadre de mémoire génératif inspiré du système nerveux, qui construit des représentations structurées et interprétables d’états évolutifs, permettant aux LLM de raisonner sur des rôles, actions et contextes spatio-temporels en évolution. Notre cadre comprend un Opérateur, qui mappe les observations entrantes vers des structures sémantiques intermédiaires, et un Réconciliateur, qui intègre ces éléments dans un espace de travail persistant assurant une cohérence temporelle, spatiale et logique. Sur le benchmark de mémoire épisodique (EpBench) [Huet et al., 2025], composé de corpus allant de 100k à 1M de tokens, le GSW dépasse les méthodes basées sur le RAG existantes jusqu’à 20 %. En outre, le GSW est particulièrement efficace, réduisant les tokens de contexte au moment des requêtes de 51 % par rapport à la méthode la plus efficace en termes de tokens, ce qui entraîne une réduction considérable des coûts d’inférence. Plus largement, le GSW offre une feuille de route concrète pour doter les LLM d’une mémoire épisodique humaine, ouvrant la voie à des agents plus performants capables de raisonner sur des horizons temporels étendus.
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.