Multiple-Choice-Fragebeantwortung
Multiple Choice Question Answering (MCQA) ist eine Unterabgabe der Natürlichen Sprachverarbeitung, die das Modell dazu verpflichtet, die beste Antwort auf eine gegebene Frage anhand der bereitgestellten Kandidatenoptionen und unterstützenden Kontextinformationen vorherzusagen. Diese Aufgabe dient der Bewertung der Verständnis- und Schlussfolgerungsfähigkeiten des Modells und hat eine breite Anwendungsspanne, wie zum Beispiel im Bereich intelligenter Bildung, Online-Bewertung und Wissensabruf.
MedMCQA
Meditron-70B (CoT + SC)
BIG-bench (Hyperbaton)
BIG-bench (Movie Recommendation)
BIG-bench (Navigate)
BIG-bench (Ruin Names)
MMLU (College Biology)
Chinchilla (few-shot, k=5)
MMLU (Medical Genetics)
MMLU (Professional medicine)
MMLU (Elementary Mathematics)
Chinchilla (few-shot, k=5)
MMLU (High School Biology)
Chinchilla (few-shot, k=5)
MMLU (College Chemistry)
Chinchilla (few-shot, k=5)
MMLU (High School Mathematics)
GAL 120B (zero-shot)
MMLU (Electrical Engineer)
GAL 120B (zero-shot)
MMLU (College Physics)
MMLU (Formal Logic)
Gopher (few-shot, k=5)
MMLU (High School Statistics)
MMLU (Abstract Algebra)
GAL 30B (zero-shot)
MMLU (Econometrics)
Gopher (few-shot, k=5)
MMLU (High School Computer Science)
GAL 120B (zero-shot)
MMLU (College Mathematics)
GAL 120B (zero-shot)
MMLU (Astronomy)
Chinchilla (few-shot, k=5)
MMLU (High School Chemistry)
Chinchilla (few-shot, k=5)
MMLU (College Computer Science)
Chinchilla (few-shot, k=5)
MMLU (High School Physics)
BIG-bench (Novel Concepts)
MMLU (Machine Learning)
Chinchilla (few-shot, k=5)
IndicGLUE WSTP Pa
MMLU (Clinical Knowledge)
MMLU (Anatomy)
Med-PaLM 2 (ER)
MMLU (College Medicine)
FrenchMedMCQA
CamemBERT