다중 문장 BERT: 오픈 도메인 질문 응답을 위한 전역적으로 정규화된 BERT 모델

BERT 모델은 개방형 질의응답(QA) 작업에 성공적으로 적용되었습니다. 그러나 이전 연구에서는 동일한 질문에 해당하는 문장을 독립적인 학습 사례로 취급하여 BERT를 훈련시켰는데, 이는 다른 문장에서 나온 답변들의 점수를 비교할 수 없게 만드는 원인이 될 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 동일한 질문에 대한 모든 문장에서 답변 점수를 전역적으로 정규화하는 다중 문장 BERT 모델을 제안합니다. 이 변경사항은 더 많은 문장을 활용하여 우리의 QA 모델이 더 나은 답변을 찾을 수 있도록 합니다. 또한, 슬라이딩 윈도우 방식으로 100단어 길이의 문장으로 기사를 분할하면 성능이 4% 향상됨을 발견했습니다. 고품질의 문장을 선택하기 위해 패시지 랭커(passage ranker)를 활용함으로써, 다중 문장 BERT는 추가로 2%의 성능 향상을 얻었습니다. 네 가지 표준 벤치마크에서 수행된 실험 결과, 우리의 다중 문장 BERT가 모든 벤치마크에서 최신 기술 모델들을 모두 능가함을 확인하였습니다. 특히 OpenSQuAD 데이터셋에서, 우리의 모델은 모든 비-BERT 모델 대비 21.4% EM(정확도)와 21.5% $F_1$ 점수 향상을 보였으며, BERT 기반 모델 대비 5.8% EM(정확도)와 6.5% $F_1$ 점수 향상을 보였습니다.