CoQA: Eine Herausforderung für konversationsbasierte Fragebeantwortung

Menschen sammeln Informationen, indem sie sich in Gesprächen mit einer Reihe von miteinander verbundenen Fragen und Antworten einbeziehen. Um Maschinen bei der Informationsbeschaffung zu unterstützen, ist es daher entscheidend, ihnen die Fähigkeit zu verleihen, konversationsbasierte Fragen zu beantworten. Wir stellen CoQA vor, einen neuen Datensatz zur Entwicklung von Konversationsfragen-Beantwortungssystemen. Unser Datensatz enthält 127.000 Fragen mit Antworten, die aus 8.000 Gesprächen über Textabschnitte aus sieben verschiedenen Bereichen stammen. Die Fragen sind konversationsbasiert, und die Antworten sind freier Text mit den entsprechenden Beweisen im Textabschnitt hervorgehoben. Wir analysieren CoQA detailliert und zeigen, dass konversationsbasierte Fragen Phänomene aufweisen, die in bestehenden Leseverständnis-Datensätzen nicht vorhanden sind, wie z.B. Koreferenz und pragmatisches Schließen (pragmatic reasoning). Wir evaluieren starke konversationsbasierte und Leseverständnis-Modelle anhand von CoQA. Das beste System erreicht einen F1-Wert von 65,4 %, was 23,4 Punkte hinter der menschlichen Leistung (88,8 %) liegt und zeigt, dass es noch viel Raum für Verbesserungen gibt. Wir starten CoQA als Herausforderung für die Gemeinschaft unter http://stanfordnlp.github.io/coqa/