Document Haystack ist ein multimodaler Dokument-Benchmark-Datensatz, der 2025 von Amazon AGI veröffentlicht wurde. Die zugehörigen Papierergebnisse sind „Document Haystack: Ein langer Kontext Multimodales Bild/Dokument Verständnis Vision LLM Benchmark“, dessen Ziel es ist, die Fähigkeiten visueller Sprachmodelle (VLMs) zur Informationsbeschaffung und zum Verständnis in komplexen Dokumenten mit langem Kontext zu bewerten.

Der Datensatz enthält 400 Dokumentvarianten und 8.250 Abfragefragen für reale Dokumente mit einer Länge von 5 bis 200 Seiten. Die Datenformate umfassen Original-PDFs, seitenweise Bilder mit 200 DPI und analysierte Textdateien und eignen sich für Aufgaben wie Fragen-Antworten und visuelle Fragen-Antworten.