상식 추론
공통 상식 추론 과제의 목표는 모델이 패턴 인식을 넘어 공통 상식이나 세계 지식을 활용하여 추론할 수 있도록 하는 것입니다. 이는 모델이 복잡한 상황을 이해하고 합리적인 판단과 예측을 내릴 수 있게 하여 자연어 처리 및 대화 시스템 등의 분야에서 지능 수준과 응용 효과를 향상시키는 것을 목표로 합니다.
WinoGrande
PaLM 540B (0-shot)
ARC (Challenge)
ARC (Easy)
ST-MoE-32B 269B (fine-tuned)
ReCoRD
DeBERTa-1.5B
CommonsenseQA
MUPPET Roberta Large
PARus
RuCoS
RWSD
BIG-bench (Disambiguation QA)
BIG-bench (Causal Judgment)
BIG-bench (Date Understanding)
BIG-bench (Sports Understanding)
Event2Mind test
EA-VQ-VAE
Russian Event2Mind
araneum word2vec (skipgram) + GRU
SWAG
DeBERTalarge
BIG-bench (Winowhy)
BIG-bench (Known Unknowns)
PaLM-540B (few-shot, k=5)
BIG-bench (Logical Sequence)
Chinchilla-70B (few-shot, k=5)
Event2Mind dev
CODAH
BERT Large
CrowdSource QA
Visual Dialog v0.9
NMN [kottur2018visual]
Visual Dialog v0.9
WinoGAViL
ViLT