HyperAIHyperAI

Command Palette

Search for a command to run...

Zwei ist besser als Viele? Binäre Klassifizierung als effektiver Ansatz für die Beantwortung von Multiple-Choice-Fragen

Deepanway Ghosal; Navonil Majumder; Rada Mihalcea; Soujanya Poria

Zusammenfassung

Wir schlagen eine einfache Refaktorisierung von Multiple-Choice-Fragebeantwortungsaufgaben (MCQA) als Reihe binärer Klassifizierungen vor. Die MCQA-Aufgabe wird in der Regel durch Bewertung jedes (Frage, Antwort)-Paares, normalisiert über alle Paare, und anschließendes Auswählen der Antwort aus dem Paar mit der höchsten Bewertung durchgeführt. Für n Antwortmöglichkeiten ist dies äquivalent zu einer n-Klassen-Klassifizierung, bei der nur eine Klasse (richtige Antwort) korrekt ist. Stattdessen zeigen wir, dass die Klassifizierung von (Frage, richtige Antwort) als positive Instanzen und (Frage, falsche Antwort) als negative Instanzen erheblich effektiver ist, sowohl für verschiedene Modelle als auch für verschiedene Datensätze. Wir demonstrieren die Effizienz unseres vorgeschlagenen Ansatzes in verschiedenen Aufgaben – abduktives Schließen, Alltagsfragenbeantwortung, Wissenschaftsfragenbeantwortung und Satzvervollständigung. Unser DeBERTa-Binärcodeklassifikationsmodell erreicht Spitzen- oder nahezu Spitzenleistungen in öffentlichen Ranglisten für diese Aufgaben. Der Quellcode des vorgeschlagenen Ansatzes ist unter https://github.com/declare-lab/TEAM verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp