Zwei ist besser als Viele? Binäre Klassifizierung als effektiver Ansatz für die Beantwortung von Multiple-Choice-Fragen

Wir schlagen eine einfache Refaktorisierung von Multiple-Choice-Fragebeantwortungsaufgaben (MCQA) als Reihe binärer Klassifizierungen vor. Die MCQA-Aufgabe wird in der Regel durch Bewertung jedes (Frage, Antwort)-Paares, normalisiert über alle Paare, und anschließendes Auswählen der Antwort aus dem Paar mit der höchsten Bewertung durchgeführt. Für n Antwortmöglichkeiten ist dies äquivalent zu einer n-Klassen-Klassifizierung, bei der nur eine Klasse (richtige Antwort) korrekt ist. Stattdessen zeigen wir, dass die Klassifizierung von (Frage, richtige Antwort) als positive Instanzen und (Frage, falsche Antwort) als negative Instanzen erheblich effektiver ist, sowohl für verschiedene Modelle als auch für verschiedene Datensätze. Wir demonstrieren die Effizienz unseres vorgeschlagenen Ansatzes in verschiedenen Aufgaben – abduktives Schließen, Alltagsfragenbeantwortung, Wissenschaftsfragenbeantwortung und Satzvervollständigung. Unser DeBERTa-Binärcodeklassifikationsmodell erreicht Spitzen- oder nahezu Spitzenleistungen in öffentlichen Ranglisten für diese Aufgaben. Der Quellcode des vorgeschlagenen Ansatzes ist unter https://github.com/declare-lab/TEAM verfügbar.