이미지 인식을 통한 추론: 긴 꼬리 분류를 위한 추론 기반의 암시적 의미 데이터 증강

실세계 데이터는 일반적으로 긴 꼬리 분포(long-tailed distribution)를 따르며, 이로 인해 기존 분류 알고리즘의 성능이 크게 저하된다. 주요 문제는 꼬리 계열(tail categories)의 샘플들이 내부 클래스 다양성을 충분히 표현하지 못한다는 점이다. 인간은 새로운 자세, 장면, 시점에서 해당 카테고리의 샘플을 사전 지식을 바탕으로 상상할 수 있다. 이와 같은 인지 능력을 영감으로 삼아, 우리는 다른 클래스로부터 변환 방향을 빌려오는 새로운 추론 기반의 은닉적 의미 데이터 증강 방법을 제안한다. 각 카테고리의 공분산 행렬(covariance matrix)은 특징 변환 방향을 나타내므로, 유사한 카테고리들로부터 새로운 방향을 샘플링하여 확실히 다른 인스턴스를 생성할 수 있다. 구체적으로, 먼저 긴 꼬리 분포를 가진 데이터를 사용하여 백본(Backbone)과 분류기(Classifier)를 학습한다. 이후 각 카테고리에 대한 공분산 행렬을 추정하고, 임의의 두 카테고리 간의 관계를 저장하는 지식 그래프(Knowledge Graph)를 구축한다. 마지막으로, 지식 그래프 내에서 모든 유사 카테고리로부터 정보를 전파하여 꼬리 샘플을 적응적으로 강화한다. CIFAR-100-LT, ImageNet-LT, iNaturalist 2018에서의 실험 결과는 제안한 방법이 최신 기술 대비 뛰어난 효과를 보임을 입증하였다.