약한 감독 하에 할당 교환을 활용한 공동 학습을 통한 의미 분할

클래스 활성화 맵(CAMs)은 약한 지도(semantic) 세그멘테이션(WSSS)에서 흔히 사용되는 기법으로, 의사 레이블(pseudo-labels)을 생성하는 데 활용된다. 기존 연구들은 CAM의 불완전성 또는 과도한 활성화 문제로 인해 오프라인 CAM 정제(off-line CAM refinement)를 도입하는 경우가 많으며, 이는 추가적인 처리 단계나 오프라인 모듈을 요구한다. 이러한 접근은 단일 단계(single-stage) 방법의 최적화를 어렵게 만들고, 일반화 능력을 제한할 수 있다. 본 연구에서는 CAM의 일관성 부족과 오류를 줄여 정제 과정에 대한 의존도를 완화하는 것을 목표로 한다. 제안하는 엔드 투 엔드(WSSS) 모델은 가이드된 CAM을 포함하며, 세그멘테이션 모델이 동시에 온라인으로 CAM을 최적화하면서 학습되도록 설계되었다. 본 방법은 교차 학습을 통한 할당 교체 기법(Co-training with Swapping Assignments, CoSA)을 활용하며, 이는 이중 스트림 아키텍처를 기반으로 하며, 한 서브넷이 다른 서브넷이 생성한 교체된 할당을 통해 학습한다. 제안하는 세 가지 기법은 다음과 같다: i) 불확실한 영역을 제어하기 위한 소프트 퍼플렉서티 기반 정규화; ii) 신뢰도 임계값을 동적으로 재조정하는 임계값 탐색 기법; iii) 동시 존재 문제(coexistence problem)를 해결하기 위한 대조적 분리 기법. CoSA는 VOC 및 COCO 검증 데이터셋에서 각각 76.2%와 51.0%의 mIoU를 달성하여 기존 베이스라인을 상당한 격차로 초과하며 뛰어난 성능을 보였다. 특히 CoSA는 추가적인 지도 정보를 갖춘 다단계 방법을 포함한 모든 기존 다단계 방법을 앞서는 최초의 단일 단계 접근법이다. 코드는 \url{https://github.com/youshyee/CoSA}에서 공개되어 있다.