강화된 전송 네트워크를 이용한 부분 영역 적응을 위한 선택적 전송

부분 영역 적응(Partial Domain Adaptation, PDA)의 핵심적인 측면 중 하나는 공유 클래스에서 지식 전송을 위한 관련 소스 샘플을 어떻게 선택할 것인가이다. 이전의 PDA 방법들은 고차원 정보(깊은 특성)에 기반하여 소스 샘플의 가중치를 조정함으로써 이 문제를 해결하려고 하였다. 그러나 소스와 대상 영역 간의 영역 이동(domain shift) 때문에, 샘플 선택을 위해 깊은 특성만 사용하는 것은 결함이 있다. 우리는 아웃라이어(outlier) 소스 클래스와 대상 클래스 사이의 외관 차이가 매우 크기 때문에, PDA 문제 해결을 위해 픽셀 수준 정보도 활용하는 것이 더 합리적이라고 주장한다. 본 논문에서는 고차원 및 픽셀 수준 정보를 모두 활용하는 강화된 전송 네트워크(Reinforced Transfer Network, RTNet)를 제안한다. 제안된 RTNet은 강화학습(Reinforcement Learning, RL) 기반의 강화된 데이터 선택기(Reinforced Data Selector, RDS)와 공유 라벨 공간에서 영역 차이를 최소화하는 영역 적응 모델로 구성된다. 특히 RDS에서는 선택된 소스 샘플들의 대상 생성기에서의 재구성 오류(reconstruct errors)에 기반한 새로운 보상(reward) 설계를 통해 픽셀 수준 정보를 도입하여 RDS 학습을 안내한다. 또한, RDS가 샘플 선택에 사용하도록 고차원 정보를 포함한 상태(state)를 개발하였다. 제안된 RDS는 일반적인 모듈로서 기존의 DA 모델들에 쉽게 통합되어 PDA 상황에 맞게 적용될 수 있다. 광범위한 실험 결과는 RTNet이 여러 벤치마크 데이터셋에서 PDA 작업에 대해 최신 성능(state-of-the-art performance)을 달성할 수 있음을 나타낸다.