UDALM: 언어 모델링을 통한 비지도 도메인 적응

본 연구에서는 사전 학습된 언어 모델의 비지도 도메인 적응(UDA)을 탐구한다. 우리는 분류 손실과 마스킹 언어 모델(Masked Language Model, MLM) 손실을 혼합한 손실 함수를 사용하는 UDALM이라는 미세 조정 절차를 제안한다. 이 방법은 타깃 도메인 분포에 대해 강건하고 샘플 효율적인 방식으로 적응할 수 있다. 실험 결과, 혼합 손실을 사용해 학습된 모델의 성능은 이용 가능한 타깃 데이터 양에 따라 증가하며, UDA 학습 과정에서 혼합 손실을 정지 기준(stopping criterion)으로 효과적으로 활용할 수 있음을 확인하였다. 또한, A-거리(A-distance)와 타깃 오차 사이의 관계를 논의하고, 도메인 적대적 학습(Domain Adversarial Training) 접근법의 일부 한계점을 탐색하였다. 제안한 방법은 아마존 리뷰 감성 분석 데이터셋의 12개 도메인 쌍에 대해 평가되었으며, 기존 최고 성능 대비 1.11%의 절대적 성능 향상으로 91.74%의 정확도를 달성하였다.