ArgSciChat: Ein Datensatz für argumentative Dialoge zu wissenschaftlichen Artikeln

Die Anwendungen von Konversationsagenten für wissenschaftliche Disziplinen (als Expertengebiete) sind aufgrund des Mangels an Dialogdaten zur Ausbildung solcher Agenten wenig untersucht. Während die meisten Datensammlungsrahmen, wie Amazon Mechanical Turk, die Datensammlung für allgemeine Gebiete durch die Verbindung von Crowd-Workern und Aufgabenentwicklern fördern, sind diese Rahmen nicht sehr optimiert für die Datensammlung in Expertengebieten. Wissenschaftler sind in diesen Rahmen selten vertreten, da sie eine begrenzte Zeitbudget haben. Daher stellen wir ein neues Framework vor, um Dialoge zwischen Wissenschaftlern als Domänenexperten zu wissenschaftlichen Arbeiten zu sammeln. Unser Framework ermöglicht es Wissenschaftlern, ihre wissenschaftlichen Arbeiten als Grundlage für Dialoge vorzustellen und an Dialogen teilzunehmen, deren Titel ihnen gefallen. Wir verwenden unser Framework, um einen neuen argumentativen Dialogdatensatz, ArgSciChat, zu sammeln. Er besteht aus 498 Nachrichten, die aus 41 Dialogen über 20 wissenschaftliche Arbeiten stammen. Neben einer umfassenden Analyse von ArgSciChat bewerten wir einen aktuellen Konversationsagenten auf unserem Datensatz. Die experimentellen Ergebnisse zeigen, dass dieser Agent bei ArgSciChat schlecht abschneidet und weitere Forschung zu argumentativen wissenschaftlichen Agenten motiviert. Wir veröffentlichen unser Framework sowie den Datensatz.