2달 전

학습된 계층별 메트릭과 부분 공간을 이용한 기울기 기반 메타러닝

Yoonho Lee; Seungjin Choi
학습된 계층별 메트릭과 부분 공간을 이용한 기울기 기반 메타러닝
초록

경사 기반 메타러닝 방법은 경사 하강법을 활용하여 다양한 작업 간의 공통점을 학습합니다. 이전의 이러한 방법들은 메타테스팅 단계에서 단순한 경사 하강법을 사용하여 메타러닝 작업에 성공해 왔습니다. 본 연구의 주요 기여는 각 층의 활성화 공간에서 작업 특화 학습자가 경사 하강법을 수행하는 부분 공간을 학습할 수 있는 {\em MT-net}입니다. 또한, {\em MT-net}의 작업 특화 학습자는 메타학습된 거리 척도에 따라 경사 하강법을 수행하며, 이는 활성화 공간을 작업 식별에 더 민감하게 변형시킵니다. 우리는 이 학습된 부분 공간의 차원이 작업 특화 학습자의 적응 작업 복잡성을 반영한다는 것을 보여주며, 또한 우리의 모델이 이전의 경사 기반 메타러닝 방법들보다 초기 학습률 선택에 덜 민감하다는 것을 입증하였습니다. 우리의 방법은 소수 샘플 분류 및 회귀 작업에서 최고 수준 또는 유사한 성능을 달성합니다.