초록
최근, 언어 모델링 작업에서 사전 학습된 신경망 모델인 ELMo (Peters 등, 2017), OpenAI GPT (Radford 등, 2018), 그리고 BERT (Devlin 등, 2018)가 질문 응답과 자연어 추론 등의 다양한 자연어 처리 작업에서 뛰어난 성과를 거두었습니다. 본 논문에서는 쿼리 기반 문서 재순위 결정을 위한 BERT의 간단한 재구현 방법을 설명합니다. 우리의 시스템은 TREC-CAR 데이터셋에서 최고 수준의 성능을 보여주며, MS MARCO 문서 검색 작업의 리더보드에서도 최상위 항목으로 선정되어 이전 최고 수준의 성능보다 MRR@10에서 27% (상대적) 향상되었습니다. 우리의 결과를 재현하기 위한 코드는 https://github.com/nyu-dl/dl4marco-bert 에서 제공됩니다.