OpenMementos est un jeu de données de compression de contexte et de mémoire, publié par Microsoft en 2026. Il est conçu pour modéliser l'inférence en chaîne longue et les capacités de gestion du contexte des grands modèles. Ce jeu de données vise à entraîner des modèles à effectuer une compression de contexte et une inférence continue, permettant ainsi de réaliser des tâches d'inférence complexes en plusieurs étapes dans une fenêtre de contexte limitée. Il est largement applicable à des scénarios de recherche tels que la modélisation de l'inférence en chaîne longue, l'entraînement de modèles optimisés pour la mémoire et la génération efficace. Cet ensemble de données est basé sur le jeu de données d'inférence OpenThoughts et contient 228 557 séquences d'inférence structurées, dont 123 333 en mathématiques, 61 485 en sciences et 43 739 en programmation. Chaque séquence comprend en moyenne 187 phrases.

Structure des données

Cet ensemble de données fournit deux sous-ensembles : valeur par défaut : utilisée pour l’entraînement et le réglage fin supervisé (SFT).

• problème(chaîne) : Énoncé du problème (entrée)
• réponse (chaîne de caractères) : Une réponse d'inférence au format Memento contenant des balises de bloc/résumé.
• domaine (chaîne de caractères) : Le domaine auquel appartiennent les données (par exemple, code, mathématiques, sciences).
• source (chaîne de caractères) : La source originale des données (issue d’OpenThoughts-v3)
• difficulté (entier) : Le niveau de difficulté du problème complet : utilisé pour la recherche approfondie ou le traitement automatisé Outre les champs mentionnés ci-dessus, il contient également des informations détaillées sur les étapes de traitement intermédiaires :
• sentences(list[string]): Une liste de phrases dérivées de la réponse, utilisée pour une modélisation et une analyse fines.
• blocks(list[list[int]]): Indices de limite des blocs d'inférence, chaque élément étant [start_idx, end_idx], représentant la plage de phrases correspondant à ce bloc.
• block_summaries(list[string]): Un résumé des étapes de chaque bloc, reflétant le processus de raisonnement de la compression et de l'abstraction progressives.