자연어 질문: 질문 응답 연구를 위한 벤치마크

우리는 자연스러운 질문(Natural Questions) 코퍼스를 소개한다. 이는 질문 답변 데이터셋으로, 구글 검색 엔진에 실제로 제출된 익명화되고 집계된 쿼리로 구성되어 있다. 각 질문은 위키피디아 페이지 하나(상위 5개 검색 결과 중 하나)와 함께 제시되며, 해당 페이지에 존재하는 경우 장문 답변(일반적으로 단락 수준)과 단문 답변(일 또는 다수의 실체)을 각각 레이블링하거나, 해당 답변이 존재하지 않을 경우 'null'로 표기한다. 공개된 데이터셋은 단일 레이블링이 부여된 307,373개의 학습 예제, 개발용 데이터로 사용되는 5-way 레이블링이 부여된 7,830개의 예제, 그리고 테스트용으로 격리된 5-way 레이블링이 부여된 7,842개의 예제로 구성되어 있다. 본 연구에서는 데이터 품질을 검증하기 위한 실험을 제시하며, 302개 예제에 대해 25-way 레이블링을 수행한 분석을 통해 인간 평가자 간의 변동성에 대한 통찰을 제공한다. 또한 질문 답변 시스템 평가를 위한 강건한 평가 지표를 제안하고, 이러한 지표에서의 인간 상한 성능을 실험적으로 확인하며, 관련 문헌에서 도출된 경쟁적 방법들을 활용하여 기준 성능(Baseline)을 제시한다.