Antwortunsicherheit und Unbeantwortbarkeit in Multiple-Choice-Maschinenleseverständnis

Maschinelles Leseverständnis (Machine Reading Comprehension, MRC) hat aufgrund seiner Eignung zur Bewertung der Fähigkeit von Systemen, natürliche Sprache zu verstehen, erhebliche Aufmerksamkeit erfahren. Typischerweise konzentrieren sich Systeme darauf, die korrekte Antwort auf eine Frage anhand eines gegebenen Kontextparagraphen auszuwählen. Für viele Anwendungen mehrfachwahlbasierter MRC-Systeme ergeben sich jedoch zwei zusätzliche Aspekte. Bei mehrfachwahlbasierten Prüfungen wird oft ein negatives Korrekturverfahren angewandt, bei dem eine falsche Antwort sanktioniert wird. Für ein MRC-System bedeutet dies, dass es über eine Einschätzung der Unsicherheit der vorhergesagten Antwort verfügen muss. Der zweite Aspekt betrifft die Tatsache, dass viele mehrfachwahlbasierte Fragen die Option „Keine der oben genannten“ (None-of-the-Abbove, NOA) enthalten, was darauf hindeutet, dass keine der angebotenen Antworten zutreffend ist, anstatt dass stets eine korrekte Antwort in der Auswahl enthalten ist. In dieser Arbeit werden beide Aspekte mithilfe von Vorhersageunsicherheit untersucht. Ob ein System eine Antwort vorschlagen soll, ist eine direkte Anwendung der Antwortunsicherheit. Bei der Behandlung der NOA-Option ergeben sich zwei Möglichkeiten: Die einfachste besteht darin, ein System explizit auf Daten zu trainieren, die diese Option enthalten. Alternativ kann Unsicherheit genutzt werden, um zu erkennen, ob eine der anderen Antwortmöglichkeiten die korrekte Antwort ist. Falls das System nicht ausreichend sicher ist, wählt es die NOA-Option. Da kein standardisierter Korpus zur Verfügung steht, um diese Themen zu erforschen, wird der ReClor-Korpus modifiziert, indem aus einer Teilmenge der möglichen Antworten die korrekte Antwort entfernt wird. Ein hochleistungsfähiges MRC-System wird eingesetzt, um zu evaluieren, ob Antwortunsicherheit in diesen Szenarien anwendbar ist. Es wird gezeigt, dass Unsicherheit es ermöglicht, Fragen zu erkennen, bei denen das System nicht sicher ist. Zudem wird nachgewiesen, dass die Nutzung von Unsicherheit ein System übertrifft, das explizit mit einer NOA-Option konzipiert wurde.