Multiple Choice Qa
Le traitement du langage naturel (NLP) est une branche de l'intelligence artificielle qui se concentre sur la capacité des ordinateurs à comprendre, interpréter et générer le langage humain. Son objectif est de combler le fossé de communication entre les humains et les machines, en améliorant l'efficacité et la qualité de l'interaction informationnelle. La valeur d'application du NLP est considérable, incluant notamment le service client intelligent, l'analyse de sentiments, la traduction automatique, la synthèse de texte, et bien d'autres domaines. Ces applications ont grandement contribué à l'informatisation de la société et à la transformation numérique des entreprises.
BIG-bench (Hyperbaton)
BIG-bench (Movie Recommendation)
BIG-bench (Navigate)
BIG-bench (Novel Concepts)
BIG-bench (Ruin Names)
FrenchMedMCQA
CamemBERT
IndicGLUE WSTP Pa
MedMCQA
Meditron-70B (CoT + SC)
MMLU (Abstract Algebra)
GAL 30B (zero-shot)
MMLU (Anatomy)
Med-PaLM 2 (ER)
MMLU (Astronomy)
Chinchilla (few-shot, k=5)
MMLU (Clinical Knowledge)
MMLU (College Biology)
Chinchilla (few-shot, k=5)
MMLU (College Chemistry)
Chinchilla (few-shot, k=5)
MMLU (College Computer Science)
Chinchilla (few-shot, k=5)
MMLU (College Mathematics)
GAL 120B (zero-shot)
MMLU (College Medicine)
MMLU (College Physics)
MMLU (Econometrics)
Gopher (few-shot, k=5)
MMLU (Electrical Engineer)
GAL 120B (zero-shot)
MMLU (Elementary Mathematics)
Chinchilla (few-shot, k=5)
MMLU (Formal Logic)
Gopher (few-shot, k=5)
MMLU (High School Biology)
Chinchilla (few-shot, k=5)
MMLU (High School Chemistry)
Chinchilla (few-shot, k=5)
MMLU (High School Computer Science)
GAL 120B (zero-shot)
MMLU (High School Mathematics)
GAL 120B (zero-shot)
MMLU (High School Physics)
MMLU (High School Statistics)
MMLU (Machine Learning)
Chinchilla (few-shot, k=5)
MMLU (Medical Genetics)
MMLU (Professional medicine)