학습을 설명하다: 과학 질문 답변을 위한 사고 체인을 통한 다중 모드 추론

질문에 답할 때 인간은 다양한 모달에서 제공되는 정보를 활용하여 일관되고 완전한 사고 과정(Chain of Thought, CoT)을 합성합니다. 이 과정은 대규모 언어 모델과 같은 딥러닝 모델의 경우 일반적으로 흑상자(black box)로 간주됩니다. 최근에는 과학 질문 벤치마크가 AI 시스템의 다단계 추론 능력과 해석 가능성을 진단하는 데 사용되었습니다. 그러나 기존 데이터셋들은 답변 주석을 제공하지 않거나, 텍스트만의 모달에 제한되어 있으며 규모가 작고 영역 다양성이 부족합니다. 이를 해결하기 위해, 우리는 ~21,000개의 다양한 과학 주제와 해당 답변들의 강의 및 설명 주석을 포함하는 다중 모달 선택형 질문으로 구성된 새로운 벤치마크인 Science Question Answering (ScienceQA)를 제시합니다. 또한, ScienceQA 질문에 답할 때 다단계 추론 과정을 모방하도록 강의와 설명을 생성하는 언어 모델을 설계하였습니다. ScienceQA는 CoT가 언어 모델에서 유용함을 보여주며, CoT는 소수 샷(few-shot) GPT-3에서 1.20%, 미세 조정된(fine-tuned) UnifiedQA에서 3.99%의 성능 향상을 가져옵니다. 우리는 또한 입력으로 설명을 제공하여 모델이 설명을 활용할 수 있는 상한선(upper bound)을 탐색하였으며, 이는 GPT-3의 소수 샷 성능을 18.96% 개선했습니다. 우리의 분석은 언어 모델이 인간과 마찬가지로 적은 데이터로부터 배우는 데 설명이 도움이 되며, 단 40%의 데이터로 동일한 성능을 달성할 수 있음을 보여줍니다. 데이터와 코드는 https://scienceqa.github.io에서 이용 가능합니다.