IDOL: 논리적 추론을 위한 지표 지향형 로직 사전학습

기계 독해 이해(MRC) 분야에서 기존 시스템은 SQuAD와 같은 많은 과제에서 인간의 평균 성능을 이미 초월하고 있다. 그러나 논리적 추론 측면에서는 여전히 많은 발전이 필요하다. 일부 논리적 추론을 위한 방법론이 제안되었지만, 그들 중 대부분은 매우 복잡한 구조로 설계되었거나 외부 구조에 과도하게 의존하고 있다. 본 논문에서는 논리적 지시자(6종류)와 논리적으로 � бог rich한 데이터셋인 LGP(LoGic Pre-training)를 활용하여 사전 훈련 모델의 논리적 강화를 가능하게 하는, 이해하기 쉬우면서도 매우 효과적인 추가 사전 훈련 태스크인 IDOL(InDicator-Oriented Logic Pre-training)을 제안한다. IDOL은 논리적 추론 MRC 분야에서 가장 대표적인 두 가지 벤치마크인 ReClor과 LogiQA에서 최고 성능을 달성하였으며, RACE 및 SQuAD 2.0과 같은 다른 유형의 MRC 벤치마크에서도 다양한 사전 훈련 모델에 대해 일반화 가능함을 입증하였다. 또한 GLUE 내 다양한 과제를 통한 검증을 통해 경쟁력 있는 일반 언어 이해 능력을 유지함을 확인하였다. 더불어 대규모 언어 모델의 시대가 시작되면서, ChatGPT와 같은 몇 가지 대표적 모델들과의 비교를 수행한 결과, IDOL이 여전히 그 우수성을 입증하였다.