메타학습에서 기억화 없이

작은 양의 데이터로 새로운 개념을 학습할 수 있는 능력은 지능의 핵심 요소이며, 기존의 딥러닝 기법에 있어서는 여전히 도전 과제로 남아 있다. 메타학습은 이전 작업에서 얻은 데이터를 활용하여 새로운 작업에 대한 효율적인 학습을 가능하게 하는 유망한 기법으로 부상하고 있다. 그러나 대부분의 메타학습 알고리즘은 메타학습 과정에서 사용되는 작업들이 상호 배타적(mutually-exclusive)이어야 한다는 암묵적인 가정을 필요로 한다. 즉, 단일 모델이 동시에 모든 작업을 해결할 수는 없어야 한다는 조건이다. 예를 들어, 소수 샘플 이미지 분류 작업을 설계할 때 기존 연구들은 각 작업별로 이미지 클래스를 N-방향 분류 레이블에 무작위로 할당하는 방식을 사용한다. 만약 이 조건을 충족하지 않는다면, 메타학습 모델은 작업 학습 데이터를 무시하고, 모든 메타학습 작업을 제로샷(zero-shot)으로 수행할 수 있는 단일 모델을 학습하게 되며, 이는 새로운 이미지 클래스에 효과적으로 적응하지 못하게 된다. 이러한 제약은 사용자가 작업 설계 시 매우 신중해야 함을 의미한다. 예를 들어, 레이블을 무작위로 재배치하거나 입력 데이터에서 작업 식별 정보를 제거해야 한다. 일부 영역에서는 이러한 제약이 메타학습의 전면적 적용을 불가능하게 만들기도 한다. 본 논문에서는 정보이론을 활용하여 데이터 기반 적응을 우선시하는 메타정규화 목표함수를 설계함으로써 이 문제를 해결한다. 이는 메타학습 모델이 어떤 정보는 작업 학습 데이터로부터 학습해야 하는지, 또 어떤 정보는 작업 테스트 입력에서 추론해야 하는지를 스스로 결정하도록 유도한다. 이를 통해 제안하는 알고리즘은 상호 배타적이지 않은 작업의 데이터를 활용하여 새로운 작업에 효율적으로 적응할 수 있다. 우리는 본 방법이 문맥 기반(Contextual) 및 기울기 기반(Gradient-based) 메타학습 알고리즘 모두에 적용 가능함을 실험적으로 입증하였으며, 기존 메타학습이 어려웠던 실제 응용 환경에서도 성공적으로 적용하였다. 실험 결과, 제안한 접근법은 이러한 환경에서 기존 메타학습 알고리즘보다 상당히 뛰어난 성능을 보였다.