신뢰성이 중요하다: 엔드투엔드 약한 감독 세분화 접근법

약한 감독(semi-supervised) 세분화는 훈련 시 이미지 수준의 정보만을 감독 신호로 사용하지만, 테스트 시에는 픽셀 수준의 예측을 생성해야 하는 어려운 과제이다. 이러한 도전적인 문제를 해결하기 위해 최근 최신 기법들은 주로 이중 단계 접근법을 제안한다. 즉, 1) 가상의 픽셀 수준 마스크를 생성하는 방법을 학습하고, 2) 생성된 가상 마스크를 이용해 전결합 네트워크(FCN)를 훈련시켜 세분화 모델을 학습하는 방식이다. 그러나 이러한 이중 단계 접근법은 고품질의 가상 마스크를 생성하기 위해 복잡한 부가 기능들(bells and whistles)을 다수 활용하므로, 전체적인 방법이 복잡하고 미적인 요소가 부족하다는 문제가 있다. 본 연구에서는 이미지 수준의 레이블을 활용하여 신뢰할 수 있는 픽셀 수준의 레이블을 생성하고, 이를 바탕으로 완전한 엔드 투 엔드(end-to-end) 네트워크를 설계하여 세분화 맵을 예측하도록 학습한다. 구체적으로, 먼저 분류 브랜치를 이용해 주어진 카테고리에 대한 클래스 활성화 맵(Class Activation Maps, CAMs)을 생성하고, 이를 신뢰도 높은 미세한 객체/배경 영역으로 정제한다. 이러한 신뢰할 수 있는 영역은 병렬로 존재하는 세분화 브랜치의 정답 레이블로 직접 활용되며, 최적화를 위해 새로 설계된 밀도 에너지 손실 함수(Dense Energy Loss)가 적용된다. 비록 이 방법이 간단해 보이지만, Pascal VOC 데이터셋에서 기존의 이중 단계 최신 기법들과 비교해 경쟁적인 mIoU 성능(검증: 62.6, 테스트: 62.9)을 달성한다. 또한 본 연구의 단일 단계 방법을 이중 단계로 확장함으로써 Pascal VOC에서 새로운 최고 성능(검증: 66.3, 테스트: 66.5)을 달성하였다.