AI를 이기다: 독해 이해를 위한 적대적 인간 주석 연구

annotation 방법론의 혁신은 독해 이해(Reading Comprehension, RC) 데이터셋과 모델의 발전을 촉진하는 핵심 요인으로 작용해왔다. 최근 RC 모델의 한계를 시험하기 위한 한 가지 주목할 만한 추세는 모델을 annotation 과정에 포함시키는 방식이다. 즉, 인간이 모델이 올바르게 답변하지 못하도록 고의적으로 어려운 질문을 생성하는 방식이다. 본 연구에서는 이러한 annotation 방법론을 다양한 설정에서 탐구하고, annotation 루프 내에 점차 강력한 모델을 도입하면서 총 36,000개의 샘플을 수집하였다. 이를 통해 어드버서리 효과의 재현 가능성, 모델-인-더-루프의 강도에 따라 수집된 데이터 간의 전이 가능성, 그리고 모델 없이 수집된 데이터에 대한 일반화 능력 등을 탐구할 수 있었다. 그 결과, 어드버서리 방식으로 수집된 데이터로 학습할 경우, 비어드버서리 방식으로 수집된 데이터셋에 대해 강력한 일반화 성능을 보였으나, annotation 루프 내 모델의 성능이 점점 강화될수록 성능 저하가 발생함을 발견하였다. 또한, 더 강력한 모델이 상대적으로 약한 모델이 참여한 데이터셋에서도 여전히 학습이 가능함을 확인하였다. BiDAF 모델이 annotation 루프에 포함된 데이터셋으로 학습한 경우 RoBERTa 모델은 SQuAD 데이터셋으로 학습했을 때 답할 수 없었던 질문에 대해 39.9 F1 점수를 기록하였으며, RoBERTa 자체를 사용해 데이터를 수집한 경우(41.0 F1)와 비교해 거의 유사한 성능을 보였다.