
머신 리딩 이해(Machine Reading Comprehension, MRC)은 자연어 이해 능력을 평가하는 방법으로 주목받아 왔다. 일반적으로 MRC 시스템은 주어진 문맥 문단에 기반하여 질문에 대한 정답을 선택하는 데 초점을 맞추고 있다. 그러나 다지선다형 MRC 시스템의 많은 응용 분야에서는 두 가지 추가적인 고려 사항이 존재한다. 먼저, 다지선다형 시험에서는 오답에 대한 감점(음의 점수 부여) 제도가 자주 적용되며, 이는 시스템이 예측한 정답에 대한 불확실성에 대한 인식이 필요함을 의미한다. 두 번째로, 많은 다지선다형 질문에는 '위의 보기 중 하나도 해당되지 않음'(None-of-the-above, NOA)이라는 선택지가 존재하는데, 이는 선택지 목록 내에 반드시 정답이 존재한다는 보장이 없음을 나타낸다. 본 논문은 이러한 두 가지 문제를 예측 불확실성(predictive uncertainty)을 활용하여 탐구한다. 시스템이 답변을 제안할지 여부는 바로 답변 불확실성의 직접적인 적용 사례이다. NOA 선택지에 대한 고려는 두 가지 방향으로 접근할 수 있다. 가장 간단한 접근은 NOA 선택지를 포함한 데이터를 기반으로 시스템을 명시적으로 구축하는 것이다. 또는, 불확실성 기법을 활용하여 다른 선택지 중에 정답이 포함되어 있는지 탐지하는 방식이 있다. 만약 시스템이 충분한 자신감을 갖지 못할 경우, NOA를 선택하게 된다. 그러나 이러한 주제를 조사하기 위한 표준 코퍼스가 존재하지 않기 때문에, 본 연구에서는 ReClor 코퍼스에서 일부 질문의 정답을 제거하여 NOA를 포함한 형태로 수정하였다. 이를 바탕으로 고성능 MRC 시스템을 활용하여 답변 불확실성이 이러한 상황에서 효과적으로 적용 가능한지 평가하였다. 결과적으로, 불확실성 기법이 시스템이 자신감이 없는 질문을 탐지하는 데 유용함이 입증되었으며, 특히 NOA 선택지를 명시적으로 포함하도록 설계된 시스템보다 불확실성 기반 접근이 더 뛰어난 성능을 보였다.