MemOS : Un Système d'Exploitation Mémoire pour les Systèmes IA

Les grands modèles de langage (LLMs) sont devenus une infrastructure essentielle pour l'intelligence artificielle générale (AGI), mais leur absence de systèmes de gestion de la mémoire bien définis entrave le développement du raisonnement à long terme, de la personnalisation continue et de la cohérence des connaissances. Les modèles existants reposent principalement sur des paramètres statiques et des états contextuels éphémères, limitant ainsi leur capacité à suivre les préférences des utilisateurs ou à mettre à jour leurs connaissances sur de longues périodes. Bien que la génération augmentée par la recherche (RAG) introduise des connaissances externes sous forme de texte brut, elle reste une solution sans état, dépourvue de contrôle du cycle de vie ou d'intégration avec des représentations persistantes. Des travaux récents ont modélisé les coûts d'entraînement et d'inférence des LLMs sous l'angle de la hiérarchie mémoire, montrant qu'une couche mémoire explicite entre la mémoire des paramètres et la recherche externe peut considérablement réduire ces coûts en externalisant des connaissances spécifiques. Au-delà de l'efficacité computationnelle, les LLMs font face à des défis plus vastes liés à la distribution de l'information dans le temps et le contexte, nécessitant des systèmes capables de gérer des connaissances hétérogènes s'étendant sur différentes échelles temporelles et sources. Pour relever ce défi, nous proposons MemOS, un système d'exploitation mémoire qui traite la mémoire comme une ressource système gérable. Il unifie la représentation, l'ordonnancement et l'évolution des mémoires textuelles brutes, basées sur l'activation et au niveau des paramètres, permettant un stockage et une récupération efficaces en termes de coûts. En tant qu'unité de base, un MemCube encapsule à la fois le contenu mémoire et les métadonnées telles que l'origine et la version. Les MemCubes peuvent être composés, migrés et fusionnés au fil du temps, permettant des transitions flexibles entre les types de mémoire et reliant la recherche à l'apprentissage basé sur les paramètres. MemOS établit un cadre systémique centré sur la mémoire qui apporte contrôlabilité, plasticité et évolutivité aux LLMs, posant ainsi les bases pour l'apprentissage continu et le modèle personnalisé.