초록
문서를 읽고 그 내용에 대한 질문의 답변을 추출하는 것이 최근에 많은 주목을 받고 있습니다. 대부분의 연구는 질문과 문서 간의 상호작용에 초점을 맞추었지만, 본 연구에서는 질문과 문서가 독립적으로 처리될 때 맥락의 중요성을 평가합니다. 우리는 이 작업을 위한 표준 신경망 구조를 사용하여, 대규모 사전 학습된 언어 모델에서 풍부한 맥락화된 단어 표현을 제공하고, 모델이 맥락에 의존적인 단어 표현과 맥락에 독립적인 단어 표현 사이에서 선택할 수 있도록 함으로써, 큰 개선을 이루어 낼 수 있음을 보여줍니다. 이러한 방법으로 경쟁력 있는 SQuAD 데이터셋에서 최신 기술과 비교할 수 있는 성능을 달성할 수 있습니다.