MemLens는 시각 언어 모델에서 장기 대화 기억을 평가하기 위한 벤치마크 데이터셋입니다. 이 데이터셋은 32,000, 64,000, 128,000, 256,000 크기의 컨텍스트 윈도우 내에서 다중 대화에 포함된 시각적 및 텍스트 정보를 검색, 회상, 업데이트 및 추론하는 모델의 능력을 테스트하도록 설계되었습니다. 이 데이터셋은 정보 추출, 지식 업데이트, 시간 추론, 다중 대화 추론, 거부(기권) 등 5가지 평가 유형을 포괄하는 789개의 문항으로 구성되어 있으며, 4가지 컨텍스트 길이 구성(32K / 64K / 128K / 256K)을 제공합니다. 추론 비용의 균형을 맞추기 위해 메모리 증강 에이전트 평가를 위한 195개의 문항으로 이루어진 추가적인 고정 수준 계층화 하위 집합도 제공됩니다.

소환

@inproceedings{ren2026memlens,
title={{MemLens}: Benchmarking Multimodal Long-Context Conversational Memory in Vision-Language Models},
author={Ren, Xiyu and Wang, Zhaowei and Du, Yiming and Xie, Zhongwei and Liu, Chi and Yang, Xinlin and Feng, Haoyue and Pan, Wenjun and Zheng, Tianshi and Xu, Baixuan and Li, Zhengnan and Song, Yangqiu and Wong, Ginny and See, Simon},
booktitle={Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks Track},
year={2026}
}