메모리 효율적인 대규모 이미지 활용 메타학습

소수 샘플 분류를 위한 메타학습 접근법은 테스트 시 계산 효율성이 뛰어나, 새로운 작업을 학습하기 위해 단지 몇 번의 최적화 단계나 단일 순방향 전파만으로도 가능하지만, 학습 과정에서는 매우 높은 메모리 요구량을 보인다. 이 제약은 최적화 단계를 수행하기 전에 지원 집합(최대 1,000장의 이미지가 포함될 수 있음) 전체를 처리해야 한다는 점에서 비롯된다. 따라서 대규모 이미지에서 얻는 성능 향상을 활용하기 위해서는 병렬적으로 여러 GPU에 메타학습기를 분산시키는 방법이 필요하지만, 이는 항상 가능하지 않으며, 메모리 제약이 있을 경우 작업 크기와 이미지 크기 사이에서 트레이드오프를 선택해야 한다. 본 연구에서는 LITE라는 일반적이고 메모리 효율적인 에피소딕 학습 방식을 제안함으로써 이 두 가지 선택지를 모두 개선한다. LITE는 단일 GPU에서도 대규모 이미지로 구성된 대규모 작업에 대해 메타학습을 가능하게 한다. 이는 작업의 학습 이미지들에 대한 그래디언트들이 전체 학습 이미지에 대한 그래디언트의 합으로 분해될 수 있다는 관찰에 기반한다. 이를 통해 작업의 전체 학습 데이터셋에 대해 순방향 전파를 수행하되, 역전파 시에는 이들 이미지 중 무작위로 추출한 부분 집합만을 사용함으로써 상당한 메모리 절감 효과를 달성할 수 있다. 우리는 이 방법이 전체 그래디언트에 대한 편향 없는 근사값임을 보였다. LITE를 활용해 메타학습기를 학습시킨 결과, 실제 세계의 ORBIT 벤치마크에서 기존 최고 성능을 넘어서는 정확도를 달성하였으며, 도전적인 VTAB+MD 벤치마크의 4개 항목 중 3개에서도 선도적인 메타학습 기법들보다 뛰어난 성능을 보였다. 또한 LITE는 전이 학습 기법과 경쟁 가능한 성능을 제공하면서도 테스트 시 계산 비용을 극도로 낮출 수 있어, 최근의 '소수 샘플 분류에서는 전이 학습만으로도 충분하다'는 주장에 대한 반론이 될 수 있다.