초록
기계 질문 응답은 자연어 처리 분야에서 핵심적이지만 도전적인 과제이다. 최근에는 BERT(Bidirectional Encoder Representations from Transformers)와 ALBERT(A Lite BERT)와 같은 사전 훈련된 문맥 임베딩(PCE) 모델이 다양한 자연어 처리 작업에서 뛰어난 성능을 보이며 주목받고 있다. 본 논문에서는 ALBERT 모델을 미세 조정(fine-tuned)한 후, 추가적인 레이어(예: 어텐션 레이어, RNN 레이어)를 그 위에 결합하여 스탠포드 질문 응답 데이터셋(SQuAD 2.0)에서 모델 성능을 향상시키는 방안을 탐구하였다. 우리는 ALBERT-base 모델 위에 서로 다른 레이어를 적용한 네 가지 모델과, ALBERT-xlarge 및 ALBERT-xxlarge 기반의 두 가지 모델을 구현하였으며, 이를 기준 모델인 ALBERT-base-v2 + ALBERT-SQuAD-out과 상세히 비교하였다. 최고의 성능을 보인 개별 모델은 ALBERT-xxlarge + ALBERT-SQuAD-out으로, 개발 세트에서 F1 스코어 88.435를 기록하였다. 또한 전체 성능을 더욱 향상시키기 위해 세 가지의 앙상블 알고리즘을 구현하였다. 여러 최고 성능 모델의 예측 결과를 가중 투표 앙상블 알고리즘에 입력함으로써, 최종 결과는 스탠포드 CS224N 테스트 PCE SQuAD 리더보드에서 F1 = 90.123으로 1위를 달성하였다.