연구 논문에 기반한 정보 탐색을 위한 질문 및 답변 데이터셋

학술 연구 논문을 읽는 독자들은 보통 특정한 질문에 답하기 위해 읽는 경우가 많다. 이러한 질문에 답할 수 있는 질문-응답(Question Answering, QA) 시스템은 논문 내용을 소비하는 과정을 훨씬 더 효율적으로 만들 수 있다. 그러나 이러한 도구를 구축하기 위해서는 논문의 여러 부분에 제기된 주장을 복합적으로 추론해야 하는 과제의 난이도를 반영한 데이터가 필요하다. 반면 기존의 정보 탐색형 질문-응답 데이터셋은 일반적인 사실형 정보에 관한 질문들로 구성되어 있다. 따라서 우리는 자연어 처리(Natural Language Processing, NLP) 논문 1,585편에 대한 5,049개의 질문을 포함한 QASPER 데이터셋을 제안한다. 각 질문은 해당 논문의 제목과 초록만을 읽은 NLP 전문가가 작성하였으며, 질문의 답은 전체 논문 내에 존재한다. 이후 질문들은 별도의 NLP 전문가들이 답변하며, 답변을 뒷받침하는 근거도 함께 제공한다. 분석 결과, 기존의 다른 QA 과제에서 우수한 성능을 보이는 모델들은 이러한 질문에 대해 만족스러운 성능을 내지 못하며, 전체 논문을 기반으로 답변할 때 인간보다 최소 27점의 F1 점수 차이로 성능이 떨어진다. 이는 우리 데이터셋이 설계된 바와 같이, 문서 기반의 정보 탐색형 질문-응답(QA) 분야에 대한 추가적인 연구를 촉진할 필요성을 시사한다.