8일 전

엔트로피 최소화 vs. 다양성 최대화: 도메인 적응을 위한 접근법

Xiaofu Wu, Suofei hang, Quan Zhou, Zhen Yang, Chunming Zhao, Longin Jan Latecki
엔트로피 최소화 vs. 다양성 최대화: 도메인 적응을 위한 접근법
초록

엔트로피 최소화는 비지도 도메인 적응(UDA)에서 널리 사용되어 왔다. 그러나 기존 연구들은 엔트로피 최소화만으로는 비의미한 트리비얼 해(solution)로 수렴할 수 있음을 밝혀냈다. 본 논문에서는 추가적으로 다양성 최대화를 도입함으로써 이러한 트리비얼 해를 피하고자 한다. UDA에서 가능한 최소의 타겟 리스크를 달성하기 위해, 엔트로피 최소화와 다양성 최대화 사이의 균형이 정교하게 조절되어야 함을 보여주며, 이 균형 정도는 비지도 방식으로 딥 임베딩 검증(Deep Embedded Validation)을 활용하여 정밀하게 제어할 수 있음을 제시한다. 제안하는 최소 엔트로피 다양성 최대화(MEDM)는 적대적 학습 없이도 확률적 경사 하강법(Stochastic Gradient Descent)을 통해 직접 구현 가능하다. 실증적 결과는 MEDM이 네 가지 대표적인 도메인 적응 데이터셋에서 최첨단 기법들을 능가함을 보여준다.

엔트로피 최소화 vs. 다양성 최대화: 도메인 적응을 위한 접근법 | 최신 연구 논문 | HyperAI초신경