긴 문서에 대한 복잡한 질문에 대한 답변을 위한 반복적 계층적 주의 메커니즘

우리는 복잡한 질문에 답하기 위해 장시간이고 계층적으로 구조화된 문서의 다양한 부분에 반복적으로 주의를 기울이는 새로운 모델인 DocHopper를 제안한다. 다단계 질문-답변(QA) 시스템과 유사하게, 각 단계에서 DocHopper는 질의 $q$를 사용하여 문서로부터 정보를 참조하고, 이 "검색된" 정보를 $q$와 결합하여 다음 단계의 질의를 생성한다. 그러나 대부분의 이전 다단계 QA 시스템과 달리, DocHopper는 문서의 짧은 구절뿐 아니라 긴 섹션도 "검색"할 수 있어, 질문에 답하기 위해 장기간 문서를 다단계로 탐색하는 과정을 모방할 수 있다. 이러한 새로운 동작을 가능하게 하기 위해, DocHopper는 질의 $q$의 텍스트와 문서의 텍스트를 단순히 연결하는 방식이 아니라, $q$의 컴팩트한 신경망 표현과 문서의 계층적 부분에 해당하는 컴팩트한 신경망 표현을 결합하는 방식을 사용한다. 이는 매우 큰 문서 부분에 대해서도 효율적으로 처리할 수 있다. 우리는 DocHopper를 질문에 답하기 위해 장시간이고 복잡한 문서를 읽어야 하는 네 가지 다른 QA 작업에 대해 실험하였으며, 세 가지 데이터셋에서 최신 기준(SOTA) 성능을 달성함을 보였다. 또한, 추론 시점에서 DocHopper는 기준 모델 대비 3~10배 빠른 효율성을 보였다.