FiE: 인코더 내 조기 융합을 활용한 글로벌 확률 공간 구축을 통한 오픈 도메인 질의 응답

최근 생성형 모델은 다중 문서 추출형 모델을 넘어설 만큼 개방형 질문 응답(Open Domain Question Answering)에서 뛰어난 성능을 보이고 있다. 이는 주로 디코더를 활용하여 여러 인코딩된 문단에 걸쳐 주의(attention)를 기울이고, 그 정보를 통합함으로써 달성된다. 그러나 생성형 모델은 디코더가 필요하기 때문에 추출형 모델보다 일반적으로 크기가 크며, 자동 재귀적 디코더의 범위 탐색(beam search)으로 인해 추론 시 속도가 느리고, 생성된 출력은 종종 환상적 정보(hallucinations)를 포함하는 문제가 있다. 본 연구에서는 트랜스포머 인코더에 다수의 문단에서 정보를 융합할 수 있는 능력을 부여하고, 샘플 간 모든 토큰에 걸쳐 전역적 표현(global representation)을 사용하여 샘플 간 상호 참조 주의를 가능하게 하는 방법을 제안한다. 또한, 모든 샘플의 전역 공간에서 답변 구간의 확률을 보다 효과적으로 집계하기 위한 대체적인 답변 구간 확률 계산 방식을 제안한다. 제안한 방법을 사용하여 자연 질문(Natural Questions) 데이터셋에서 기존 최고 성능 모델보다 정확도(Exact Match)를 2.5점 향상시켰으며, 파라미터 수는 25%만 사용하고 추론 시 지연(latency)은 35%로 줄였다. WebQuestions 데이터셋에서는 4.4점의 Exact Match 향상을 달성하였다. 더불어 합성 데이터 증강(synthetic data augmentation)과 결합할 경우, TriviaQA 데이터셋에서도 더 큰 모델들을 능가하는 성능을 보였다. 본 연구의 방법은 추론 지연과 파라미터 수를 크게 절감하므로, 계산 비용이 높은 개방형 질문 응답 환경에서 특히 매력적인 접근 방식이다.