이미지 변형 메타-네트워크를 이용한 원샷 학습

인간은 이미지가 다양한 변형을 겪고 일부 정보를 잃더라도 새로운 시각적 개념을 강건하게 학습할 수 있습니다. 이러한 행동을 모방하고 새로운 개념의 변형된 인스턴스를 생성하는 것은 시각 인식 시스템이 더 나은 원샷 학습(one-shot learning)을 수행하는 데 도움이 될 수 있습니다. 즉, 하나 또는 몇 개의 예제로부터 개념을 학습하는 것입니다. 우리의 주요 통찰력은 변형된 이미지가 시각적으로 사실적이지 않을 수도 있지만, 여전히 중요한 의미론적 정보를 유지하며 분류기 결정 경계를 설정하는 데 크게 기여한다는 것입니다. 메타 학습(meta-learning)의 최근 발전에 영감을 받아, 우리는 메타 학습기를 이미지 변형 서브네트워크와 결합하여 추가적인 훈련 예제를 생성하고, 두 모델을 엔드투엔드 방식으로 최적화하였습니다. 이 변형 서브네트워크는 이미지를 변형하기 위해 이미지 쌍을 융합합니다 --- 시각적 내용을 유지하는 프로브(probe) 이미지와 변형의 다양성을 제공하는 갤러리(gallery) 이미지입니다. 우리는 널리 사용되는 원샷 학습 벤치마크(미니이미지넷(miniImageNet) 및 이미지넷 1K 챌린지 데이터셋)에서 결과를 보여주며, 이는 현행 최신 접근법보다 크게 우수한 성능을 나타냅니다. 코드는 https://github.com/tankche1/IDeMe-Net에서 확인할 수 있습니다.