저샷 객체 카운팅 네트워크와 반복적인 프로토타입 적응

우리는 이미지에서 임의의 의미 범주에 대한 저 샷 카운팅을 고려하며, 이는 몇 개의 주석된 예시(few-shot) 또는 예시가 없는(no-shot) 상황에서 이루어집니다. 표준 저 샷 파이프라인은 예시로부터 외관 쿼리를 추출하고 이를 이미지 특성과 매칭하여 객체 수를 추론하는 과정을 따릅니다. 기존 방법들은 특성 풀링을 통해 쿼리를 추출하지만, 이는 형태 정보(예: 크기와 종횡비)를 무시하여 객체 위치 결정 정확도와 수량 추정이 감소되는 문제를 초래합니다. 우리는 반복적인 프로토타입 적응(iterative prototype Adaptation)을 사용하는 저 샷 객체 카운팅 네트워크(LOCA)를 제안합니다. 우리의 주요 기여는 새로운 객체 프로토타입 추출 모듈로서, 이 모듈은 예시의 형태와 외관 정보를 이미지 특성과 반복적으로 융합합니다. 이 모듈은 쉽게 제로 샷 시나리오에 적용될 수 있어 LOCA가 저 샷 카운팅 문제의 전 영역을 다룰 수 있게 합니다. LOCA는 FSC147 벤치마크에서 원샷 및 저 샷 상황에서 RMSE로 20-30% 우수한 성능을 보이며, 제로 샷 시나리오에서는 최신 연구 방법들을 능가하면서 더 나은 일반화 능력을 입증하였습니다.