Leser akademischer Forschungspapiere lesen oft mit dem Ziel, spezifische Fragen zu beantworten. Frage-Antwort-Systeme, die solche Fragen beantworten können, ermöglichen eine erheblich effizientere Nutzung des Inhalts. Die Entwicklung solcher Werkzeuge erfordert jedoch Datensätze, die die Schwierigkeit der Aufgabe widerspiegeln, die sich aus komplexen Schlussfolgerungen über Behauptungen ergibt, die in verschiedenen Teilen eines Papiers formuliert sind. Im Gegensatz dazu enthalten bestehende Frage-Antwort-Datensätze für Informationsbeschaffung in der Regel Fragen zu allgemeinen, faktoiden Informationen. Wir stellen daher QASPER vor, einen Datensatz mit 5.049 Fragen zu 1.585 Arbeiten aus dem Bereich Natural Language Processing. Jede Frage wurde von einem NLP-Praktiker formuliert, der lediglich den Titel und den Abstract des entsprechenden Papiers gelesen hatte, und zielt auf Informationen ab, die im vollständigen Text enthalten sind. Die Fragen werden anschließend von einer separaten Gruppe von NLP-Praktikern beantwortet, die zudem unterstützende Beweise für ihre Antworten bereitstellen. Wir stellen fest, dass bestehende Modelle, die auf anderen QA-Aufgaben gut abschneiden, bei der Beantwortung dieser Fragen erheblich schlechter abschneiden – sie unterliegen menschlichen Antwortenden bei der Beantwortung aus vollständigen Papieren um mindestens 27 F1-Punkte. Dies unterstreicht die Notwendigkeit weiterer Forschung im Bereich dokumentenbasierten, informationsorientierten Frage-Antwort-Systems, welches durch unseren Datensatz gezielt unterstützt werden soll.