긴 꼬리 데이터를 위한 GAN 개선을 위한 그룹 스펙트럴 정규화

딥 긴 꼬리 학습은 대부분의 꼬리 클래스 레이블이 소수의 샘플에 해당하는 실제 세계의 비균형 분포에서 유용한 딥 네트워크를 훈련하는 것을 목표로 한다. 긴 꼬리 분포에서 시각 인식을 위한 구분 능력 있는 모델을 훈련하기 위한 연구가 다수 존재한다. 반면, 본 연구는 긴 꼬리 분포에서 조건부 생성 적대 신경망(Conditional Generative Adversarial Networks, cGAN)이라는 이미지 생성 모델을 훈련하는 것을 목표로 한다. 우리는 이미지 생성 분야에서도 최신 기법들이 꼬리 클래스에서 성능 저하를 겪는다는 것을 발견했다. 이 성능 저하는 주로 꼬리 클래스에 대한 클래스별 모드 붕괴(class-specific mode collapse)에 기인하며, 이는 조건부 파라미터 행렬의 스펙트럼 폭발(spectral explosion)과 밀접한 상관관계가 있음을 관찰하였다. 이를 해결하기 위해, 스펙트럼 폭발을 억제하고 모드 붕괴를 완화함으로써 꼬리 클래스에 대해서도 다양하고 타당한 이미지 생성이 가능하도록 하는 새로운 그룹 스펙트럼 정규화 기법(group Spectral Regularizer, gSR)을 제안한다. gSR는 기존의 증강 기법과 정규화 기법과 효과적으로 결합되어, 긴 꼬리 데이터에 대해 최신 기술 수준의 이미지 생성 성능을 달성한다. 다양한 실험을 통해 본 정규화 기법이 다양한 비균형 정도를 가진 긴 꼬리 데이터셋에서 효과적임을 입증하였다.