초록
본 연구는 사전 학습된 시퀀스-투-시퀀스 모델을 문서 순위 결정 작업에 적용하는 새로운 방법을 제안합니다. 우리의 접근 방식은 BERT와 같은 인코더만 사용하는 사전 학습 트랜스포머 아키텍처를 기반으로 하는 일반적으로 채택되는 분류 기반 순위 결정 방식과 근본적으로 다릅니다. 우리는 시퀀스-투-시퀀스 모델이 '타겟 단어'로 관련성 라벨을 생성하도록 어떻게 훈련할 수 있는지 보여주며, 이러한 타겟 단어의 기본 로짓이 순위 결정을 위한 관련성 확률로 해석될 수 있음을 설명합니다. 인기 있는 MS MARCO 패시지 순위 결정 작업에서 실험 결과는 우리의 접근 방식이 이전의 분류 기반 모델과 최소한 동등하며, 더 크고 최근의 모델을 사용하면 이를 능가할 수 있음을 보여줍니다. TREC 2004 로버스트 트랙의 테스트 컬렉션에서는 데이터셋 내 교차 검증이 필요한 이전 최신 모델보다 우수한 성능을 보이는 제로샷 전송 기반 접근 방식을 시연합니다. 또한, 데이터가 부족한 환경(즉, 적은 훈련 예제)에서 우리의 접근 방식이 인코더만 사용하는 모델보다 크게 우수함을 발견하였습니다. 우리는 이 관찰을 더욱 깊게 조사하기 위해 타겟 단어를 변경하여 모델의 잠재 지식 활용 방식을 탐구하였습니다.