동적 분포 적응을 활용한 전이 학습

전이 학습은 소스 도메인에서 얻은 지식을 활용하여 타겟 도메인에 대해 강건한 분류기 학습을 목표로 한다. 일반적으로 소스 도메인과 타겟 도메인은 서로 다른 분포를 가지므로, 기존의 방법들은 주로 교차 도메인의 주변 분포 또는 조건부 분포를 적응시키는 데 집중해왔다. 그러나 실제 응용 상황에서는 주변 분포와 조건부 분포가 도메인 간 차이에 대해 서로 다른 기여도를 가지는 경우가 많다. 기존의 방법들은 이러한 두 분포의 상대적 중요도를 정량적으로 평가하지 못하며, 이로 인해 만족스럽지 않은 전이 성능이 나타난다. 본 논문에서는 각 분포의 상대적 중요도를 정량적으로 평가할 수 있는 새로운 개념인 동적 분포 적응(Dynamic Distribution Adaptation, DDA)을 제안한다. DDA는 구조적 위험 최소화(Structural Risk Minimization) 프레임워크에 쉽게 통합될 수 있으며, 전이 학습 문제를 해결하는 데 유용하다. DDA 기반으로, 전통적인 전이 학습을 위한 다층 구조 동적 분포 적응(Manifold Dynamic Distribution Adaptation, MDDA)과 딥 전이 학습을 위한 동적 분포 적응 네트워크(Dynamic Distribution Adaptation Network, DDAN)라는 두 가지 새로운 학습 알고리즘을 제안한다. 광범위한 실험을 통해 MDDA와 DDAN이 전이 학습 성능을 크게 향상시켰으며, 숫자 인식, 감성 분석, 이미지 분류 등 다양한 작업에서 최신의 딥 학습 및 적대적 방법들에 비해 강력한 기준 성능을 확보함을 입증하였다. 더욱 중요한 점은, 주변 분포와 조건부 분포가 도메인 분산에 대해 서로 다른 기여도를 가지며, 본 연구에서 제안한 DDA가 이러한 분포들의 상대적 중요도를 효과적으로 정량적으로 평가함으로써 더 나은 성능을 달성할 수 있음을 보여주었다. 우리는 이러한 관찰이 향후 전이 학습 분야의 연구에 유용할 것이라 믿는다.