DyREx: 추출형 질의 응답을 위한 동적 질의 표현

추출형 질문 응답(Extractive Question Answering, ExQA)은 자연어 처리 분야에서 핵심적인 과제이다. ExQA의 주류 접근 방식은 입력 시퀀스(질문과 문단)의 토큰들을 사전 훈련된 트랜스포머로 표현한 후, 시작 및 종료 답변 구간 위치에 대한 확률 분포를 계산하기 위해 두 개의 학습 가능한 쿼리 벡터를 사용하는 것이다. 그러나 이러한 쿼리 벡터는 입력의 맥락을 반영하지 못하기 때문에 모델 성능에 제한 요소가 될 수 있다. 이 문제를 해결하기 위해 본 연구에서는 기존의 '보편적(vanilla)' 접근 방식을 일반화한 \textit{DyREx}를 제안한다. DyREx는 트랜스포머 레이어를 통해 어텐션 메커니즘을 활용하여 입력에 따라 동적으로 쿼리 벡터를 계산함으로써, 입력 맥락을 효과적으로 반영한다. 실험적 관찰 결과, 제안한 방법이 기존 표준 방법에 비해 일관되게 성능을 향상시킴을 확인하였다. 실험을 실행하기 위한 코드 및 보조 파일은 \url{https://github.com/urchade/DyReX}에서 제공된다.