다중 비등방성 프로토타입을 이용한 영역 적응형 의미 분할의 양방향 자기 학습

도메인 적응 세그멘테이션 분야에서 활발한 추세는 대상 도메인에 대한 고품질의 가짜 라벨을 생성하고 이를 통해 세그멘테이터를 재훈련하는 것입니다. 이러한 자기 학습 패러다임 하에서, 일부 경쟁적인 방법들은 잠재 공간 정보를 활용하여 의미 클래스의 특징 중심점(또는 프로토타입)을 설정하고 이 중심점과의 거리에 따라 가짜 라벨 후보를 결정하려고 시도하였습니다. 본 논문에서는 잠재 공간에 더 많은 활용 가능한 정보가 포함되어 있다고 주장하며, 이를 활용하기 위해 한 단계 더 나아갑니다. 첫째, 대부분의 전통적인 방법들이 소스 도메인 프로토타입만을 사용하여 대상 가짜 라벨을 결정하는 것과 달리, 우리는 양방향으로 대상 도메인 프로토타입을 생성하여 적응에 너무 어려운 또는 방해받은 소스 특징들을 감소시킵니다. 둘째, 기존 시도들은 각 범주를 단일이고 등방성 프로토타입으로 모델링하면서 특징 분포의 변동성을 무시하였는데, 이는 유사한 범주들 간의 혼동을 초래할 수 있습니다. 이 문제를 해결하기 위해, 우리는 가우시안 믹스처 모델(Gaussian Mixture Model)을 통해 각 범주를 다중이고 비등방성 프로토타입으로 표현하도록 제안합니다. 이를 통해 소스 도메인의 실제 분포에 맞게 피팅하고 대상 샘플들의 확률 밀도에 기반한 가능성을 추정합니다. 우리는 우리의 방법을 GTA5→Cityscapes와 Synthia→Cityscapes 작업에 적용하여 평균 IoU 측면에서 각각 61.2와 62.8의 성능을 달성하였으며, 이는 다른 경쟁적인 자기 학습 방법들보다 크게 우수함을 입증하였습니다. 특히 "트럭"과 "버스"와 같은 범주 혼동이 심각한 경우에도 우리의 방법은 각각 56.4와 68.8의 성능을 보였습니다. 이는 우리의 설계가 효과적임을 더욱 입증합니다.