소수 샘플 카운팅을 위한 의미론적 생성 증강

강력한 텍스트-이미지 확산 모델의 등장으로 인해, 최근 연구들은 이미지 분류 성능을 향상시키기 위해 합성 데이터를 활용하는 방안을 탐구해왔다. 이러한 연구들은 합성 데이터가 실제 데이터를 효과적으로 보완하거나 대체할 수 있음을 보여주었다. 본 연구에서는 합성 데이터가 소수 샘플(few-shot) 클래스 무관 카운팅(counting)에 어떻게 기여할 수 있는지를 탐구한다. 이를 위해서는 주어진 객체 수에 해당하는 이미지를 생성해야 하며, 그러나 기존의 텍스트-이미지 모델은 '개수(count)'라는 개념을 정확히 이해하는 데 어려움을 겪는다. 따라서 본 연구에서는 스테이블 디퓨전(Stable Diffusion) 모델에 프롬프트(prompt)와 밀도 맵(density map)이라는 이중 조건을 적용함으로써, 소수 샘플 카운팅을 위한 훈련 데이터셋을 증강하는 전략을 제안한다. 그러나 데이터셋 크기가 작기 때문에, 미세조정(fine-tuned)된 모델은 훈련 이미지와 유사한 이미지만을 생성하는 경향이 있다. 이를 해결하기 위해, 이미지 간에 캡션을 교환함으로써 객체 유형과 공간 배치의 새로운 조합을 생성함으로써 합성 이미지의 다양성을 향상시키는 전략을 제안한다. 실험 결과, 제안한 다각화된 생성 전략이 FSC147 및 CARPK 데이터셋에서 최근에 제안된 두 가지 성능이 뛰어난 소수 샘플 카운팅 모델의 정확도를 크게 향상시킴을 확인하였다.