초록
딥 신경망이 편향된 학습 데이터에 과적합되기 쉬운 것으로 입증되어 왔다. 이러한 문제를 해결하기 위해 메타학습은 메타 모델을 활용하여 학습 편향을 보정하는 방식을 사용한다. 비록 메타학습 접근법은 희망적인 성능을 보이고 있지만, 현재 가장 큰 제약 요소는 매우 느린 학습 속도이다. 본 논문에서는 메타 그라디언트 계산 과정에서 가장 비용이 큰 단계를 더 빠른 계층별 근사로 대체하는 새로운 '빠른 메타 업데이트 전략(FaMUS)'을 제안한다. 실증적으로 FaMUS는 메타 그라디언트에 대해 정확도가 합리적이면서도 변동성이 낮은 근사값을 제공함을 발견하였다. 우리는 두 가지 작업에 대해 광범위한 실험을 수행하여 제안한 방법의 효과를 검증하였다. 결과적으로, 제안한 방법은 일반화 성능을 비교하거나 더 뛰어난 성능을 달성하면서도 학습 시간의 약 2/3을 절약할 수 있음을 보였다. 특히, 본 방법은 합성 및 현실적인 노이즈 레이블 상황에서 최신 기술 수준의 성능을 달성하였으며, 표준 벤치마크에서 긴 꼬리 분포 인식(task)에서도 유망한 성능을 기록하였다.