제로 레이블 세분화를 위한 세프트레이닝에 대한 심층적 고찰

학습 중 관측되지 않은 클래스를 분할할 수 있는 능력은 의미론적 분할에 필요한 고비용의 레이블링을 줄일 수 있다는 잠재력 때문에 딥러닝 분야에서 중요한 기술적 과제이다. 기존의 제로-라벨 의미론적 분할 연구들은 시각-의미 임베딩 또는 생성 모델을 학습함으로써 이 문제에 접근해왔다. 그러나 이러한 접근 방식은 보이는 클래스에 대해 학습 신호가 없기 때문에 보이는 클래스에 과적합(overfitting)되기 쉬운 문제가 있다. 본 논문에서는 테스트 시 보인 클래스와 보이지 않은 클래스 모두를 분할해야 하는 도전적인 일반화된 제로-라벨 의미론적 분할(GZLSS: Generalized Zero-Label Semantic Segmentation) 문제를 탐구한다. 우리는 학습 이미지 내에는 보이지 않은 클래스의 픽셀이 존재할 수 있지만, 그에 대한 레이블은 부여되지 않았다고 가정한다. 우리의 아이디어는, 레이블이 없는 픽셀에 대해 모델이 자가 생성한 의사 레이블(pseudo-label)을 이용해 보이지 않은 클래스에 대한 잠재 정보를 포착하는 것이다. 이를 위해 동일한 이미지에 대한 다양한 증강(augmentation)에서 생성된 의사 레이블 간의 교집합(intersection)을 활용하여 노이즈가 포함된 의사 레이블을 필터링하는 일관성 정규화 기법(consistency regularizer)을 제안한다. 제안하는 프레임워크는 의사 레이블을 생성한 후, 인간 레이블링 데이터와 의사 레이블 데이터를 함께 사용하여 모델을 재학습한다. 이 과정을 여러 반복(iteration)에 걸쳐 수행한다. 그 결과, 본 연구는 도전적인 일반화된 제로-라벨 의미론적 분할 설정에서 PascalVOC12 및 COCO-stuff 데이터셋에서 기존의 복잡한 전략을 사용한 다른 방법들을 능가하는 최신 기준(새로운 최고 성능)을 달성하였다.