HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 13 jours

Au-delà de la récupération de faits : la mémoire épisodique pour RAG avec des espaces sémantiques génératifs

Shreyas Rajesh Pavan Holur Chenda Duan David Chong Vwani Roychowdhury

Au-delà de la récupération de faits : la mémoire épisodique pour RAG avec des espaces sémantiques génératifs

Résumé

Les grands modèles linguistiques (LLM) font face à des défis fondamentaux en matière de raisonnement sur de longs contextes : de nombreux documents dépassent la fenêtre contextuelle finie de ces modèles, tandis que la performance sur des textes pouvant tenir dans cette fenêtre se dégrade avec la longueur de la séquence, ce qui impose de les compléter par des cadres de mémoire externe. Les solutions actuelles, qui ont évolué de la recherche basée sur des embeddings sémantiques vers des représentations plus sophistiquées à base de graphes de connaissances structurés afin d’améliorer la compréhension et l’associativité, sont conçues principalement pour des tâches de récupération de faits, mais échouent à construire les représentations narratives ancrées dans l’espace-temps nécessaires au suivi d’entités à travers des événements épisodiques. Pour combler cet écart, nous proposons le Workspace sémantique génératif (GSW), un cadre de mémoire génératif inspiré du système nerveux, qui construit des représentations structurées et interprétables d’états évolutifs, permettant aux LLM de raisonner sur des rôles, actions et contextes spatio-temporels en évolution. Notre cadre comprend un Opérateur, qui mappe les observations entrantes vers des structures sémantiques intermédiaires, et un Réconciliateur, qui intègre ces éléments dans un espace de travail persistant assurant une cohérence temporelle, spatiale et logique. Sur le benchmark de mémoire épisodique (EpBench) [Huet et al., 2025], composé de corpus allant de 100k à 1M de tokens, le GSW dépasse les méthodes basées sur le RAG existantes jusqu’à 20 %. En outre, le GSW est particulièrement efficace, réduisant les tokens de contexte au moment des requêtes de 51 % par rapport à la méthode la plus efficace en termes de tokens, ce qui entraîne une réduction considérable des coûts d’inférence. Plus largement, le GSW offre une feuille de route concrète pour doter les LLM d’une mémoire épisodique humaine, ouvrant la voie à des agents plus performants capables de raisonner sur des horizons temporels étendus.

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Au-delà de la récupération de faits : la mémoire épisodique pour RAG avec des espaces sémantiques génératifs | Articles de recherche | HyperAI