검색을 주의력으로: 단일 트랜스포머 내에서 검색과 독해의 엔드투엔드 학습

지식 집약적인 작업, 예를 들어 개방형 도메인 질의응답(QA)을 위한 시스템은 일반적으로 두 단계로 구성된다. 첫째, 대규모 코퍼스에서 관련 문서를 효율적으로 검색하는 단계이며, 둘째, 선택된 문서를 세부적으로 읽어 답변을 생성하는 단계이다. 보통 검색기(retriever)와 독해기(reader)는 별도로 모델링되며, 이는 복잡한 구현을 필요로 하며 종단 간(end-to-end) 학습과 적응이 어렵게 만든다. 본 논문에서는 이러한 설계를 재검토하고, 별도의 아키텍처와 학습 방식을 버리고, 하나의 트랜스포머 모델을 사용하여 '검색을 주의(attention)로 수행하는(ReAtt)' 방식을 제안하며, 최종 QA 작업의 supervision만을 기반으로 종단 간 학습을 수행한다. 우리는 처음으로 종단 간에 하나의 모델만으로 학습함으로써 경쟁 수준의 검색 성능과 QA 성능을 동시에 달성할 수 있음을 입증한다. 이 모델은 별도로 학습된 최첨단 검색기 및 독해기와 비교해도 동등하거나 약간 뛰어난 성능을 보인다. 더불어, 종단 간 적응은 감독 학습 및 비감독 학습 설정에서 모두 도메인 외(out-of-domain) 데이터셋에서 성능을 크게 향상시킨다. 이로써 본 모델은 지식 집약적 작업에 대한 간단하고 유연한 해결책이 될 수 있다. 코드와 모델은 https://github.com/jzbjyb/ReAtt 에서 제공된다.