쉬운 길을 선택하지 마라: 알려진 데이터셋 편향을 피하기 위한 앙상블 기반 방법

최첨단 모델들은 종종 도메인 외부 또는 적대적 환경에서 잘 일반화되지 않는 데이터의 표면적인 패턴을 활용한다. 예를 들어, 텍스트 함의 모델은 특정 키워드가 함의를 의미한다고 학습하는 경향이 있으며, 이는 맥락과 무관하게 이루어진다. 또한 시각 질문 응답 모델은 이미지에 포함된 증거를 고려하지 않고 대표적인 답변을 예측하는 경향이 있다. 본 논문에서는 이러한 편향에 대한 사전 지식이 있다면, 도메인 전이에 더 강건한 모델을 훈련시킬 수 있음을 보여준다. 제안하는 방법은 두 단계로 구성된다. 첫째, 데이터셋의 편향에만 기반하여 예측을 수행하는 단순한 모델을 훈련한다. 둘째, 이 단순 모델과 앙상블 형태로 함께 훈련함으로써, 보다 일반화 가능한 다른 데이터 패턴에 주목하도록 강제하는 강건한 모델을 학습한다. 도메인 외부 테스트 세트를 포함한 다섯 가지 데이터셋에 대한 실험 결과, 모든 설정에서 상당한 강건성 향상이 나타났으며, 특히 변화하는 사전 확률을 가진 시각 질문 응답 데이터셋에서 12점의 성능 향상과 적대적 질문 응답 테스트 세트에서 9점의 성능 향상을 달성하였다.