Document Haystack ist ein multimodaler Dokument-Benchmark-Datensatz, der 2025 von Amazon AGI veröffentlicht wurde. Die zugehörigen Papierergebnisse sind „Document Haystack: Ein langer Kontext Multimodales Bild/Dokument Verständnis Vision LLM Benchmark“, dessen Ziel es ist, die Fähigkeiten visueller Sprachmodelle (VLMs) zur Informationsbeschaffung und zum Verständnis in komplexen Dokumenten mit langem Kontext zu bewerten. Der Datensatz enthält 400 Dokumentvarianten und 8.250 Abfragefragen für reale Dokumente mit einer Länge von 5 bis 200 Seiten. Die Datenformate umfassen Original-PDFs, seitenweise Bilder mit 200 DPI und analysierte Textdateien und eignen sich für Aufgaben wie Fragen-Antworten und visuelle Fragen-Antworten.

Zitat

@article{huybrechts2025document, title={Document Haystack: Ein Benchmark für multimodales Bild-/Dokumentenverständnis mit langem Kontext (LLM)}, Autor={Huybrechts, Goeric und Ronanki, Srikanth und Jayanthi, Sai Muralidhar und Fitzgerald, Jack und Veeravanallur, Srinivasan}, journal={arXiv preprint arXiv:2507.15882}, Jahr={2025} }