2달 전

Backpropagation을 이용한 비지도 도메인 적응

Ganin, Yaroslav ; Lempitsky, Victor
Backpropagation을 이용한 비지도 도메인 적응
초록

최고 성능을 발휘하는 딥 아키텍처는 대량의 라벨링된 데이터로 훈련됩니다. 특정 작업에 대한 라벨링된 데이터가 부족할 경우, 유사한 특성을 가진 다른 도메인(예: 합성 이미지)에서의 라벨링된 데이터를 활용한 도메인 적응이 매력적인 옵션으로 제시됩니다. 본 연구에서는 소스 도메인에서 대량의 라벨링된 데이터와 타겟 도메인에서 대량의 비라벨링된 데이터를 사용하여 훈련할 수 있는 새로운 딥 아키텍처의 도메인 적응 방법을 제안합니다(타겟 도메인의 라벨링된 데이터는 필요하지 않습니다).훈련 과정이 진행됨에 따라, 이 접근법은 (i) 소스 도메인에서 주요 학습 작업에 대해 구분력이 있으며 (ii) 두 도메인 간의 변화에 대해 불변성을 가지는 "딥" 특징들의 발생을 촉진합니다. 우리는 이 적응 행동이 표준 계층과 간단한 새로운 그래디언트 역전 계층을 추가함으로써 거의 모든 피드포워드 모델에서 달성될 수 있음을 보여줍니다. 이렇게 증강된 아키텍처는 표준 역전파 알고리즘을 사용하여 훈련될 수 있습니다.전반적으로, 이 접근법은 어떤 딥러닝 패키지를 사용하더라도 비교적 적은 노력으로 구현할 수 있습니다. 해당 방법은 일련의 이미지 분류 실험에서 매우 우수한 성능을 보였으며, 큰 도메인 변화가 존재하는 상황에서도 적응 효과를 달성하고 오피스(OFFICE) 데이터셋에서 기존 최신 기술보다 우수한 결과를 나타냈습니다.