두 개가 더 나은가? 이진 분류가 다중 선택 질문 답변에 효과적인 접근 방식인 이유

우리는 다중 선택 질문 응답(MCQA) 작업을 일련의 이진 분류로 간단히 재구성하는 방법을 제안합니다. MCQA 작업은 일반적으로 각 (질문, 답변) 쌍에 대한 점수를 모든 쌍에 대해 정규화한 후, 가장 높은 점수를 얻는 쌍에서 답변을 선택하여 수행됩니다. n개의 답변 옵션이 있는 경우, 이는 오직 하나의 클래스(정답)만이 올바른 n-클래스 분류 설정과 동일합니다. 우리는 대신 (질문, 정답)을 긍정적인 사례로 분류하고 (질문, 틀린 답변)을 부정적인 사례로 분류하는 것이 다양한 모델과 데이터셋에서 상당히 더 효과적임을 보여줍니다. 우리는 추론적 사고, 상식 질문 응답, 과학 질문 응답 및 문장 완성 등 다양한 작업에서 제안된 접근 방식의 유효성을 입증합니다. 우리의 DeBERTa 이진 분류 모델은 이러한 작업의 공개 리더보드에서 최상 또는 거의 최상의 성능을 달성했습니다. 제안된 접근 방식의 소스 코드는 https://github.com/declare-lab/TEAM 에서 확인할 수 있습니다.