الأسئلة المتعددة الخيارات والإجابة عليها
الإجابة على أسئلة الاختيار من متعدد (MCQA) هي جزء فرعي من معالجة اللغة الطبيعية يتطلب من النموذج التنبؤ بأفضل إجابة للسؤال المقدم بناءً على الخيارات المرشحة والسياق الداعم المقدم. تهدف هذه المهمة إلى تقييم قدرات النموذج على الفهم والاستدلال ولها نطاق واسع من القيم التطبيقية، مثل التعليم الذكي، والتقييم عبر الإنترنت، واسترجاع المعرفة، وغيرها.
MedMCQA
Meditron-70B (CoT + SC)
BIG-bench (Movie Recommendation)
BIG-bench (Hyperbaton)
BIG-bench (Navigate)
BIG-bench (Ruin Names)
MMLU (College Biology)
Chinchilla (few-shot, k=5)
MMLU (Medical Genetics)
MMLU (Professional medicine)
MMLU (High School Computer Science)
GAL 120B (zero-shot)
MMLU (Abstract Algebra)
GAL 30B (zero-shot)
MMLU (Elementary Mathematics)
Chinchilla (few-shot, k=5)
MMLU (High School Mathematics)
GAL 120B (zero-shot)
MMLU (Electrical Engineer)
GAL 120B (zero-shot)
MMLU (College Chemistry)
Chinchilla (few-shot, k=5)
MMLU (Formal Logic)
Gopher (few-shot, k=5)
MMLU (High School Statistics)
MMLU (Astronomy)
Chinchilla (few-shot, k=5)
MMLU (High School Biology)
Chinchilla (few-shot, k=5)
MMLU (Econometrics)
Gopher (few-shot, k=5)
MMLU (College Mathematics)
GAL 120B (zero-shot)
MMLU (College Physics)
MMLU (Machine Learning)
Chinchilla (few-shot, k=5)
BIG-bench (Novel Concepts)
MMLU (College Computer Science)
Chinchilla (few-shot, k=5)
MMLU (High School Chemistry)
Chinchilla (few-shot, k=5)
MMLU (High School Physics)
MMLU (College Medicine)
MMLU (Clinical Knowledge)
IndicGLUE WSTP Pa
MMLU (Anatomy)
Med-PaLM 2 (ER)
FrenchMedMCQA
CamemBERT