4달 전

전문가 모델을 이용한 영역 적응 전이 학습

Jiquan Ngiam; Daiyi Peng; Vijay Vasudevan; Simon Kornblith; Quoc V. Le; Ruoming Pang
전문가 모델을 이용한 영역 적응 전이 학습
초록

전이 학습은 고성능 컴퓨터 비전 모델을 구축하는 데 널리 사용되는 방법입니다. 본 논문에서는 데이터 선택이 성능에 미치는 영향을 검토하여 전이 학습의 효과를 연구하였습니다. 우리는 더 많은 사전 학습 데이터가 항상 도움이 되지 않는다는 것을 발견하였으며, 전이 성능은 적절한 사전 학습 데이터 선택에 따라 달라짐을 확인하였습니다. 이러한 결과는 데이터셋 크기가 지속적으로 증가하고 있는 상황에서 중요합니다. 또한, 우리는 대상 데이터셋을 기반으로 계산된 중요도 가중치를 사용하는 간단하면서도 효과적인 사전 학습 방법인 영역 적응 전이 학습(domain adaptive transfer learning)을 제안하였습니다. 우리의 중요도 가중치 계산 방법은 영역 적응(domain adaptation)의 아이디어에서 유래되었으며, 이를 전이 학습에 새롭게 적용하였습니다. 우리의 방법들은 여러 세부 분류 데이터셋에서 최고 수준의 결과를 달성하였으며, 실제 활용에 적합합니다.