HS3: 계층적 감독을 통한 의미 분할에서 적절한 작업 복잡도 학습

최근 문헌에서 깊이 있는 감독 학습 네트워크는 흔히 사용되지만, 이들 대부분은 전이 계층들 간의 표현 능력 차이를 고려하지 않고 동일한 학습 목표를 모든 전이 계층에 적용한다. 본 논문에서는 계층적으로 다양한 작업 복잡도를 부여함으로써 중간 계층들이 의미 있는 표현을 학습할 수 있도록 하는 계층적 감독 세그멘테이션(Hierarchically Supervised Semantic Segmentation, HS3)이라는 학습 방식을 제안한다. 이를 통해 네트워크 전체에서 일관된 성능 대 복잡도 간의 트레이드오프를 유지하기 위해 각 전이 계층에 대해 다양한 클래스 클러스터 집합을 도출하여 감독한다. 또한, 이러한 계층별 특징을 융합하여 � богrich한 의미적 맥락을 제공하고 최종 세그멘테이션 성능을 더욱 향상시키는 HS3-Fuse라는 융합 프레임워크를 설계하였다. 광범위한 실험 결과, 제안하는 HS3 방식은 추가적인 추론 비용 없이 기존의 단순한 깊이 감독 방식보다 뚜렷한 성능 향상을 보였다. 더 나아가, 제안한 HS3-Fuse 프레임워크는 두 대규모 세그멘테이션 벤치마크인 NYUD-v2와 Cityscapes에서 최신 기술 수준(SOTA)의 성능을 달성하였다.