단일 단계 약한 감독 및 반감독 세분화를 위한 자기지도 저랭크 네트워크 학습

제한된 레이블을 가진 세분화 작업, 예를 들어 약한 지도(semi-supervised) 세분화(WSSS) 및 반지도(semi-supervised) 세분화(SSSS)는 최근 많은 주목을 받고 있는 도전적인 과제이다. 대부분의 최첨단 WSSS 방법들은 정밀한 의사 레이블(pseudo-label) 추정을 위해 복잡한 다단계 학습 전략을 활용하지만, 이는 모델 복잡도가 높아지는 단점이 있다. 반면, 이미지 수준 레이블을 사용하여 단일 학습 주기 내에 단일 네트워크를 훈련하는 다른 연구 방향도 존재한다. 그러나 이러한 단일 단계 전략은 정확하지 않은 의사 레이블 추정으로 인한 누적 오류의 영향으로 인해 성능이 떨어지는 경향이 있다. 이 문제를 해결하기 위해 본 논문은 단일 단계 WSSS 및 SSSS를 위한 자기지도 저랭크 네트워크(Self-supervised Low-Rank Network, SLRNet)를 제안한다. SLRNet은 다중 시점(self-supervision)을 활용하며, 한 이미지의 다양한 시점에서 동시에 상호 보완적인 주의 기반 저랭크(LR) 표현을 예측함으로써 정밀한 의사 레이블을 학습한다. 구체적으로, 저랭크 표현 학습을 집합적 행렬 분해(collective matrix factorization) 문제로 재정의하고, 네트워크 학습과 함께 종단 간(end-to-end)으로 공동 최적화한다. 결과적으로 생성된 저랭크 표현은 노이즈 정보를 제거하면서 다양한 시점 간에 안정적인 의미 정보를 포착하여 입력 변동에 대해 강건성을 확보함으로써 자기지도 오류에 대한 과적합을 줄인다. SLRNet은 다음과 같은 다양한 레이블 효율적 세분화 설정에 대해 통합적인 단일 단계 프레임워크를 제공할 수 있다: 1) 이미지 수준 레이블 데이터를 활용한 WSSS, 2) 일부 픽셀 수준 레이블 데이터를 사용하는 SSSS, 3) 일부 픽셀 수준 레이블 데이터와 많은 이미지 수준 레이블 데이터를 함께 사용하는 SSSS. Pascal VOC 2012, COCO, L2ID 데이터셋에서 실시한 광범위한 실험 결과, 다양한 설정에서 기존 최첨단 WSSS 및 SSSS 방법들을 모두 능가함을 입증하며, 본 방법의 우수한 일반화 능력과 효과성을 입증하였다.