다양한 추론 단계를 요구하는 개방형 질문에 텍스트에서 답변하기

우리는 질문에 따라 필요한 검색 단계 수가 달라질 수 있는 텍스트 기반 개방형 질문에 직접 답변할 수 있는 통합 시스템을 개발하였다. 본 연구에서는 단일 다중 작업(transformer) 모델을 사용하여, 지원 정보 검색, 재정렬, 그리고 검색된 모든 문서로부터 답변 예측에 이르는 모든 하위 작업을 반복적으로 수행한다. 기존 연구들이 실제 환경에 잘 일반화되지 않는 핵심 가정을 피하기 위해, 각 질문에 필요한 고정된 검색 단계 수를 활용하거나, 이용 가능한 범위가 제한적인 구조화된 메타데이터(지식베이스나 웹 링크 등)를 사용하는 방식을 배제하였다. 대신, 추론 복잡성에 대한 사전 지식 없이도 어떤 텍스트 컬렉션에서도 개방형 질문에 답변할 수 있도록 설계된 시스템을 제안한다. 이러한 설정을 모방하기 위해, 기존의 1단계 및 2단계 데이터셋과 함께 세 개의 위키백과 문서를 필요로 하는 새로운 530개의 질문을 포함한 새로운 데이터셋인 BeerQA를 구축하였으며, 이 과정에서 위키백과 코퍼스 버전을 통합하였다. 실험 결과, 제안하는 모델이 기존 벤치마크뿐 아니라 새로운 BeerQA 벤치마크에서도 경쟁력 있는 성능을 보였다. 새로운 벤치마크는 https://beerqa.github.io/ 에 공개되어 있다.