HopRetriever: 복잡한 질문에 답하기 위해 위키백과를 넘나들며 훵을 검색한다

대규모 텍스트 코퍼스(예: 위키백과)로부터 지원 증거를 수집하는 것은 개방형 도메인 질의응답(QA)에서 큰 도전 과제이다. 특히 다단계(open-domain) 개방형 QA의 경우, 분산된 증거 조각들을 통합하여 답변 추출을 뒷받침해야 한다. 본 논문에서는 복잡한 질문에 대한 답변을 위해 위키백과에서 숨겨진 추론 증거를 수집하기 위해 새로운 검색 대상인 '호프(hop)'를 제안한다. 구체적으로, 본 논문에서 '호프'는 하이퍼링크와 해당 하이퍼링크가 연결하는 외부 링크 문서의 조합으로 정의된다. 하이퍼링크는 외부 링크 엔티티가 텍스트 맥락에서 어떻게 언급되는지를 모델링하는 언급 임베딩(mention embedding)으로 표현되며, 해당 외부 링크 문서는 그 내부에 담긴 비구조화된 지식을 대표하는 문서 임베딩(document embedding)으로 인코딩된다. 이를 바탕으로, 복잡한 질문에 대한 답변을 위해 위키백과에서 호프를 검색하는 HopRetriever를 구축하였다. HotpotQA 데이터셋에 대한 실험 결과, HopRetriever는 이전에 발표된 증거 검색 방법들에 비해 크게 우수한 성능을 보였다. 또한 본 방법은 증거 수집 과정에 대한 정량적이고 해석 가능한 결과를 제공함으로써, 모델의 추론 과정에 대한 투명성을 높였다.