메타 드롭아웃: 일반화를 위한 잠재 특징의 변동 학습

좋은 일반화 성능을 갖는 머신러닝 모델은 미리 보지 못한 테스트 예제에 대해 낮은 오차를 얻어야 한다. 따라서 테스트 예제를 고려할 수 있도록 훈련 예제를 최적으로 왜곡하는 방법을 알 수 있다면, 더 나은 일반화 성능을 달성할 수 있을 것이다. 그러나 표준 머신러닝 프레임워크에서는 테스트 데이터의 분포가 알려져 있지 않기 때문에 그러한 왜곡을 얻는 것은 불가능하다. 이 도전 과제를 해결하기 위해, 메타러닝 프레임워크 내에서 일반화를 위해 훈련 예제의 잠재 특징을 왜곡하는 방법을 학습하는 새로운 정규화 방법인 메타-드롭아웃(meta-dropout)을 제안한다. 구체적으로, 입력에 따라 테스트 인스턴스에서 낮은 오차를 달성할 수 있도록, 잠재 특징에 대한 곱셈형 노이즈 분포를 출력하는 노이즈 생성기를 메타학습한다. 이후 학습된 노이즈 생성기는 메타테스트 시에 미지의 작업에 대한 훈련 예제를 왜곡하여 일반화 성능을 향상시킬 수 있다. 제안한 방법은 소수 샘플 분류 데이터셋에서 검증되었으며, 결과적으로 기존의 정규화 방법인 정보 버블링(information bottleneck), 매니폴드 믹업(manifold mixup), 정보 드롭아웃(information dropout) 등과 비교해 상당히 뛰어난 일반화 성능을 보였다.