2달 전

영역 간 소수 샘플 학습을 위한 과제별 사전 조건부 처리기

Kang, Suhyun ; Park, Jungwon ; Lee, Wonseok ; Rhee, Wonjong
영역 간 소수 샘플 학습을 위한 과제별 사전 조건부 처리기
초록

크로스 도메인 소수 샘플 학습(Cross-Domain Few-Shot Learning, CDFSL) 방법은 일반적으로 태스크 독립적(task-agnostic) 및 태스크 특이적(task-specific) 매개변수를 사용하여 모델을 파라미터화합니다. 최근 접근법들은 태스크 특이적 매개변수를 적응시키기 위해 고정된 최적화 전략을 활용하였으나, 이는 다양한 도메인이나 목표 태스크에서 잠재적인 비최적성을 보일 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 새로운 적응 메커니즘인 태스크 특이적 사전 조건부 경사 하강(Task-Specific Preconditioned gradient descent, TSP)을 제안합니다. 우리의 방법은 먼저 각 메타 트레이닝 도메인의 특성을 포착하는 도메인 특이적 사전 조건부(Domain-Specific Preconditioners, DSPs)를 메타 학습합니다. 그런 다음 이들을 태스크 계수(task-coefficients)를 사용하여 선형 결합하여 태스크 특이적 사전 조건부(Task-Specific Preconditioner)를 형성합니다. 사전 조건부는 경사 하강에 적용되어, 최적화가 목표 태스크에 적응하도록 합니다. 우리는 사전 조건부가 양의 정부호(positive definite)임을 제약조건으로 설정하여, 사전 조건부 경사를 가장 가파른 하강 방향으로 안내합니다. 메타 데이터셋(Meta-Dataset)에서의 경험적 평가는 TSP가 다양한 실험 시나리오에서 최고 수준의 성능을 달성함을 보여줍니다.