MemLens est un jeu de données de référence pour l'évaluation de la mémoire de dialogue à long terme dans les modèles de langage visuel. Il est conçu pour tester la capacité du modèle à récupérer, rappeler, mettre à jour et inférer des informations visuelles et textuelles intégrées dans des dialogues multiconversationnels au sein de fenêtres contextuelles de 32K, 64K, 128K et 256K. Cet ensemble de données contient 789 questions, couvrant cinq types d'évaluation : extraction d'informations, mise à jour des connaissances, raisonnement temporel, raisonnement multiconversationnel et rejet (abstention). Il propose quatre configurations de longueur de contexte (32 000, 64 000, 128 000 et 256 000). Un sous-ensemble stratifié à niveau fixe de 195 questions est fourni spécifiquement pour l'évaluation des agents à mémoire augmentée, afin d'équilibrer les coûts d'inférence.

Citation

@inproceedings{ren2026memlens,
title={{MemLens}: Benchmarking Multimodal Long-Context Conversational Memory in Vision-Language Models},
author={Ren, Xiyu and Wang, Zhaowei and Du, Yiming and Xie, Zhongwei and Liu, Chi and Yang, Xinlin and Feng, Haoyue and Pan, Wenjun and Zheng, Tianshi and Xu, Baixuan and Li, Zhengnan and Song, Yangqiu and Wong, Ginny and See, Simon},
booktitle={Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks Track},
year={2026}
}