HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Antwortunsicherheit und Unbeantwortbarkeit in Multiple-Choice-Maschinenleseverständnis

{Mark Gales Vatsal Raina}

Antwortunsicherheit und Unbeantwortbarkeit in Multiple-Choice-Maschinenleseverständnis

Abstract

Maschinelles Leseverständnis (Machine Reading Comprehension, MRC) hat aufgrund seiner Eignung zur Bewertung der Fähigkeit von Systemen, natürliche Sprache zu verstehen, erhebliche Aufmerksamkeit erfahren. Typischerweise konzentrieren sich Systeme darauf, die korrekte Antwort auf eine Frage anhand eines gegebenen Kontextparagraphen auszuwählen. Für viele Anwendungen mehrfachwahlbasierter MRC-Systeme ergeben sich jedoch zwei zusätzliche Aspekte. Bei mehrfachwahlbasierten Prüfungen wird oft ein negatives Korrekturverfahren angewandt, bei dem eine falsche Antwort sanktioniert wird. Für ein MRC-System bedeutet dies, dass es über eine Einschätzung der Unsicherheit der vorhergesagten Antwort verfügen muss. Der zweite Aspekt betrifft die Tatsache, dass viele mehrfachwahlbasierte Fragen die Option „Keine der oben genannten“ (None-of-the-Abbove, NOA) enthalten, was darauf hindeutet, dass keine der angebotenen Antworten zutreffend ist, anstatt dass stets eine korrekte Antwort in der Auswahl enthalten ist. In dieser Arbeit werden beide Aspekte mithilfe von Vorhersageunsicherheit untersucht. Ob ein System eine Antwort vorschlagen soll, ist eine direkte Anwendung der Antwortunsicherheit. Bei der Behandlung der NOA-Option ergeben sich zwei Möglichkeiten: Die einfachste besteht darin, ein System explizit auf Daten zu trainieren, die diese Option enthalten. Alternativ kann Unsicherheit genutzt werden, um zu erkennen, ob eine der anderen Antwortmöglichkeiten die korrekte Antwort ist. Falls das System nicht ausreichend sicher ist, wählt es die NOA-Option. Da kein standardisierter Korpus zur Verfügung steht, um diese Themen zu erforschen, wird der ReClor-Korpus modifiziert, indem aus einer Teilmenge der möglichen Antworten die korrekte Antwort entfernt wird. Ein hochleistungsfähiges MRC-System wird eingesetzt, um zu evaluieren, ob Antwortunsicherheit in diesen Szenarien anwendbar ist. Es wird gezeigt, dass Unsicherheit es ermöglicht, Fragen zu erkennen, bei denen das System nicht sicher ist. Zudem wird nachgewiesen, dass die Nutzung von Unsicherheit ein System übertrifft, das explizit mit einer NOA-Option konzipiert wurde.

Benchmarks

BenchmarkMethodikMetriken
reading-comprehension-on-reclorELECTRA and ALBERT
Test: 71.0

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Antwortunsicherheit und Unbeantwortbarkeit in Multiple-Choice-Maschinenleseverständnis | Forschungsarbeiten | HyperAI