적응형 균형 학습을 통한 반감독형 의미 분할

제한적이고 불균형한 데이터로 인해, 반감독(semi-supervised) 의미 분할은 특정 카테고리, 예를 들어 Cityscapes 데이터셋에서 관찰되는 긴 꼬리(long-tailed) 레이블 분포를 보이는 꼬리 카테고리에 대해 낮은 성능을 보이는 경향이 있다. 기존의 대부분의 접근법들은 이러한 문제를 무시하고 카테고리를 동등하게 취급한다. 일관성 정규화나 의사라벨링(pseudo-labeling)과 같은 인기 있는 방법들은 오히려 성능이 낮은 카테고리의 학습을 해칠 수 있으며, 이러한 카테고리의 예측값이나 의사라벨이 너무 정확하지 못해 비라벨 데이터에 대한 학습을 올바르게 안내하지 못할 수 있다. 본 논문에서는 이러한 문제를 탐구하고, 적응형 균형 학습(Adaptive Equalization Learning, AEL)이라는 새로운 프레임워크를 제안한다. AEL은 학습 중 카테고리별 성능을 동적으로 추적하는 신뢰도 은행(confidence bank)을 활용하여 성능이 좋고 나쁜 카테고리 간의 학습을 적응적으로 균형 잡는다. 이 신뢰도 은행은 성능이 낮은 카테고리에 학습을 더 기울이는 지표로 활용되며, 세 가지 전략으로 구현된다: 1) 성능이 낮은 카테고리가 더 자주 복사되거나 잘리게 하는 적응형 Copy-Paste 및 CutMix 데이터 증강 기법; 2) 성능이 낮은 카테고리의 픽셀이 더 자주 샘플링되도록 유도하는 적응형 데이터 샘플링 방법; 3) 의사라벨링으로 인해 발생하는 학습 노이즈를 완화하는 간단하면서도 효과적인 재가중 방법. 실험 결과, AEL은 Cityscapes 및 Pascal VOC 벤치마크에서 다양한 데이터 분할 프로토콜 하에서 최신 기술 대비 큰 성능 향상을 보였다. 코드는 https://github.com/hzhupku/SemiSeg-AEL 에서 공개되어 있다.