2달 전

구조와 주제를 보존하는 증강을 통한 세부 분류의 발전

Michaeli, Eyal ; Fried, Ohad
구조와 주제를 보존하는 증강을 통한 세부 분류의 발전
초록

미세 시각 분류(Fine-grained Visual Classification, FGVC)는 밀접하게 관련된 하위 클래스를 분류하는 작업을 포함합니다. 이 작업은 클래스 간의 미묘한 차이와 높은 클래스 내 변동성으로 인해 어려움을 겪습니다. 또한, FGVC 데이터셋은 일반적으로 작고 수집하기 어려워 효과적인 데이터 증강의 필요성이 강조됩니다. 최근 텍스트-이미지 확산 모델(text-to-image diffusion models)의 발전은 분류 데이터셋의 증강에 새로운 가능성을 제공하고 있습니다. 이러한 모델들은 분류 작업을 위한 학습 데이터 생성에 사용되었지만, FGVC 모델의 전체 데이터셋 학습에서의 효과성은 아직 충분히 연구되지 않았습니다. 최근 텍스트-이미지 생성(Text2Image generation) 또는 이미지-이미지 변환(Img2Img methods) 기술들은 클래스를 정확히 표현하면서 동시에 데이터셋의 다양성을 크게 증가시키는 이미지를 생성하는 데 어려움을 겪고 있습니다.이러한 도전 과제들을 해결하기 위해, 우리는 구조와 주제를 보존하는 증강 방법인 SaSPA(Structure and Subject Preserving Augmentation)를 제시합니다. 최근 방법들과 달리, 우리의 방법은 실제 이미지를 안내용으로 사용하지 않아 생성 유연성을 높이고 더 큰 다양성을 촉진합니다. 클래스를 정확히 표현하기 위해, 우리는 이미지 엣지와 주제 표현에 조건부로 적용되는 조건부 메커니즘(conditioning mechanisms)을 사용합니다. 우리는 광범위한 실험을 수행하여 SaSPA를 전통적인 및 최근의 생성적 데이터 증강 방법과 비교 평가하였습니다. SaSPA는 여러 설정에서, 전체 데이터셋 학습, 맥락 편향(contextual bias), 소수 샘플 분류(few-shot classification) 등을 포함하여 모든 기존 베이스라인보다 일관되게 우수한 성능을 보였습니다.또한, 우리의 결과는 합성 데이터를 FGVC 모델에 사용할 때 나타나는 흥미로운 패턴들을 밝혀냈습니다. 예를 들어, 실제 데이터의 양과 최적의 합성 데이터 비율 사이의 관계를 발견하였습니다. 코드는 https://github.com/EyalMichaeli/SaSPA-Aug에서 확인할 수 있습니다.

구조와 주제를 보존하는 증강을 통한 세부 분류의 발전 | 최신 연구 논문 | HyperAI초신경