DiverGen: 더 다양한 생성 데이터를 통해 보다 넓은 데이터 분포를 학습함으로써 인스턴스 세그멘테이션 향상하기

인스턴스 세그멘테이션은 데이터에 매우 의존하며, 모델의 용량이 증가함에 따라 데이터 규모가 정확도 향상에 있어 핵심적인 요소가 된다. 현재 대부분의 인스턴스 세그멘테이션 데이터셋은 고비용의 수동 레이블링을 필요로 하여 데이터 규모에 한계가 있다. 이러한 데이터로 학습된 모델은 특히 희귀 카테고리에 대해 훈련 세트에 과적합되기 쉬운 문제가 있다. 최근 연구들은 생성 모델을 활용하여 합성 데이터셋을 생성하여 데이터 증강을 시도하고 있으나, 이러한 접근 방식은 생성 모델의 잠재력을 효율적으로 활용하지 못하는 경향이 있다.이러한 문제를 해결하기 위해 우리는 데이터 증강을 위한 생성 데이터셋 구축에 더 효율적인 전략을 제안하며, 이를 DiverGen이라 명명한다. 먼저, 분포 불일치 관점에서 생성 데이터의 역할을 설명한다. 모델이 학습하는 분포에 대한 다양한 데이터의 영향을 조사하였으며, 생성 데이터가 모델이 학습할 수 있는 데이터 분포를 확장할 수 있음을 주장한다. 이를 통해 과적합을 완화할 수 있다. 또한 생성 데이터의 다양성이 모델 성능 향상에 핵심적임을 발견하였으며, 카테고리 다양성, 프롬프트 다양성, 생성 모델 다양성 등의 다양한 전략을 통해 이를 강화하였다. 이러한 전략을 통해 수백만 수준의 데이터 규모를 확보하면서도 모델 성능 향상 추세를 유지할 수 있다. LVIS 데이터셋에서 DiverGen은 강력한 기준 모델인 X-Paste보다 뛰어난 성능을 보였으며, 모든 카테고리에서 박스 AP +1.1, 마스크 AP +1.1을 달성했고, 희귀 카테고리에서는 각각 박스 AP +1.9, 마스크 AP +2.5의 성능 향상을 기록하였다.