깊은 네트워크는 클래스 간에 불변성을 전이하는가?

잘 일반화하기 위해서 분류기는 입력의 클래스를 변화시키지 않는 부수적인 변환에 대해 불변성을 학습해야 한다. 많은 문제에서 클래스에 관계없이 모든 클래스에 동일하게 적용되는 '클래스 무관(class-agnostic)'한 부수적 변환이 존재한다. 예를 들어 이미지 분류의 경우 조명 변화나 배경 변화가 이에 해당한다. 충분한 데이터가 주어지면 신경망은 이러한 불변성을 학습할 수 있지만, 현실 세계의 많은 데이터셋은 클래스 간 극심한 불균형을 보이며, 대부분의 클래스는 매우 적은 예시만을 포함한다. 따라서 다음과 같은 질문을 제기한다: 큰 클래스에서 학습한 클래스 무관 불변성이 작은 클래스로 얼마나 잘 전이될 수 있는가? 철저한 실험을 통해, 클래스 무관 변환에 대한 불변성은 여전히 클래스 크기에 크게 의존하며, 특히 작은 클래스에서는 신경망이 훨씬 낮은 불변성을 보임을 관찰했다. 이 결과는 데이터 균형 기법을 사용하더라도 여전히 유지되며, 클래스 간 불변성의 전이가 부족함을 시사한다. 본 연구 결과는 분류기가 불균형하고 긴 꼬리(long-tailed) 분포에서 잘 일반화하지 못하는 이유를 설명하는 하나의 근거를 제공한다. 이러한 분석을 바탕으로, 부수적 변환을 학습하기 위한 생성적(generative) 접근 방식이 클래스 간 불변성을 효과적으로 전이시켜, 여러 불균형 이미지 분류 벤치마크에서 성능을 향상시킬 수 있음을 보여준다. 실험에 사용된 소스 코드는 다음 링크에서 확인할 수 있다: https://github.com/AllanYangZhou/generative-invariance-transfer.