Multiple-Choice-Fragebeantwortung
Multiple Choice Question Answering (MCQA) ist eine Unterabgabe der Natürlichen Sprachverarbeitung, die das Modell dazu verpflichtet, die beste Antwort auf eine gegebene Frage anhand der bereitgestellten Kandidatenoptionen und unterstützenden Kontextinformationen vorherzusagen. Diese Aufgabe dient der Bewertung der Verständnis- und Schlussfolgerungsfähigkeiten des Modells und hat eine breite Anwendungsspanne, wie zum Beispiel im Bereich intelligenter Bildung, Online-Bewertung und Wissensabruf.
MedMCQA
Meditron-70B (CoT + SC)
BIG-bench (Movie Recommendation)
BIG-bench (Hyperbaton)
BIG-bench (Navigate)
BIG-bench (Ruin Names)
MMLU (College Biology)
Chinchilla (few-shot, k=5)
MMLU (Medical Genetics)
MMLU (Professional medicine)
MMLU (High School Computer Science)
GAL 120B (zero-shot)
MMLU (Abstract Algebra)
GAL 30B (zero-shot)
MMLU (Elementary Mathematics)
Chinchilla (few-shot, k=5)
MMLU (High School Mathematics)
GAL 120B (zero-shot)
MMLU (Electrical Engineer)
GAL 120B (zero-shot)
MMLU (College Chemistry)
Chinchilla (few-shot, k=5)
MMLU (Formal Logic)
Gopher (few-shot, k=5)
MMLU (High School Statistics)
MMLU (Astronomy)
Chinchilla (few-shot, k=5)
MMLU (High School Biology)
Chinchilla (few-shot, k=5)
MMLU (Econometrics)
Gopher (few-shot, k=5)
MMLU (College Mathematics)
GAL 120B (zero-shot)
MMLU (College Physics)
MMLU (Machine Learning)
Chinchilla (few-shot, k=5)
BIG-bench (Novel Concepts)
MMLU (College Computer Science)
Chinchilla (few-shot, k=5)
MMLU (High School Chemistry)
Chinchilla (few-shot, k=5)
MMLU (High School Physics)
MMLU (College Medicine)
MMLU (Clinical Knowledge)
IndicGLUE WSTP Pa
MMLU (Anatomy)
Med-PaLM 2 (ER)
FrenchMedMCQA
CamemBERT