컨텍스트 인식형 메타러닝

ChatGPT와 같은 대규모 언어 모델은 미세조정(fine-tuning) 없이 추론 과정에서 새로운 개념을 학습할 수 있는 놀라운 능력을 보여준다. 그러나 추론 중에 새로운 객체를 탐지하도록 훈련된 시각 모델은 이러한 능력을 재현하지 못했으며, 대신 성능이 낮거나 유사한 객체에 대한 메타-훈련(meta-training)과/또는 미세조정이 필요했다. 본 연구에서는 추론 과정 중에 미세조정 없이 새로운 시각적 개념을 학습할 수 있도록 대규모 언어 모델을 모방하는 메타-학습 알고리즘을 제안한다. 제안하는 방법은 고정된 사전 훈련된 특징 추출기(frozen pre-trained feature extractor)를 활용하며, 문맥 내 학습(in-context learning)과 유사하게, 레이블이 알려진 데이터 포인트들의 시퀀스와 레이블이 미지인 테스트 데이터 포인트를 시퀀스 모델링(sequence modeling)의 대상으로 재정의한다. 11개의 메타-학습 벤치마크 중 8개에서, 본 연구의 방법은 메타-훈련이나 미세조정 없이도 기존 최고 성능 알고리즘인 P>M>F를 초과하거나 동등하게 달성하였다. 해당 알고리즘은 이 벤치마크들에 대해 메타-훈련된 것으로, 본 연구의 접근 방식은 이를 능가하거나 근접하는 성능을 보였다. 코드는 https://github.com/cfifty/CAML 에서 공개되어 있다.