الأسئلة المتعددة الخيارات والإجابة عليها
الإجابة على أسئلة الاختيار من متعدد (MCQA) هي جزء فرعي من معالجة اللغة الطبيعية يتطلب من النموذج التنبؤ بأفضل إجابة للسؤال المقدم بناءً على الخيارات المرشحة والسياق الداعم المقدم. تهدف هذه المهمة إلى تقييم قدرات النموذج على الفهم والاستدلال ولها نطاق واسع من القيم التطبيقية، مثل التعليم الذكي، والتقييم عبر الإنترنت، واسترجاع المعرفة، وغيرها.
MedMCQA
Meditron-70B (CoT + SC)
BIG-bench (Hyperbaton)
BIG-bench (Movie Recommendation)
BIG-bench (Navigate)
BIG-bench (Ruin Names)
MMLU (College Biology)
Chinchilla (few-shot, k=5)
MMLU (Medical Genetics)
MMLU (Professional medicine)
MMLU (Elementary Mathematics)
Chinchilla (few-shot, k=5)
MMLU (High School Biology)
Chinchilla (few-shot, k=5)
MMLU (College Chemistry)
Chinchilla (few-shot, k=5)
MMLU (High School Mathematics)
GAL 120B (zero-shot)
MMLU (Electrical Engineer)
GAL 120B (zero-shot)
MMLU (College Physics)
MMLU (Formal Logic)
Gopher (few-shot, k=5)
MMLU (High School Statistics)
MMLU (Abstract Algebra)
GAL 30B (zero-shot)
MMLU (Econometrics)
Gopher (few-shot, k=5)
MMLU (High School Computer Science)
GAL 120B (zero-shot)
MMLU (College Mathematics)
GAL 120B (zero-shot)
MMLU (Astronomy)
Chinchilla (few-shot, k=5)
MMLU (High School Chemistry)
Chinchilla (few-shot, k=5)
MMLU (College Computer Science)
Chinchilla (few-shot, k=5)
MMLU (High School Physics)
BIG-bench (Novel Concepts)
MMLU (Machine Learning)
Chinchilla (few-shot, k=5)
IndicGLUE WSTP Pa
MMLU (Clinical Knowledge)
MMLU (Anatomy)
Med-PaLM 2 (ER)
MMLU (College Medicine)
FrenchMedMCQA
CamemBERT