Document Haystack 是由 Amazon AGI 于 2025 年发布的一个多模态文档基准数据集，相关论文成果为「Document Haystack: A Long Context Multimodal Image/Document Understanding Vision LLM Benchmark」，旨在评估视觉语言模型（VLM）在长上下文复杂文档中的信息检索与理解能力。 该数据集包含 400 份文档变体和 8,250 个检索问题，涵盖了 5-200 页篇幅的真实文档，数据形式包括原始 PDF 、 200 DPI 分页图像和纯文本解析文件，适用于问答（Question-Answering）和视觉问答（Visual Question-Answering）等任务。

Citation

@article{huybrechts2025document, title={Document Haystack: A Long Context Multimodal Image/Document Understanding Vision LLM Benchmark}, author={Huybrechts, Goeric and Ronanki, Srikanth and Jayanthi, Sai Muralidhar and Fitzgerald, Jack and Veeravanallur, Srinivasan}, journal={arXiv preprint arXiv:2507.15882}, year={2025} }