시야 범위를 초월한 전이: 비지도 도메인 적응을 통한 밀도 높은 원형 세분화

자율주행 차량은 360도 센서의 확장된 시야(Field of View, FoV)로부터 명확한 이점을 얻을 수 있지만, 현대의 의미적 세분화(semantic segmentation) 기법은 주로 라벨링된 학습 데이터에 크게 의존하며, 이는 원형 이미지에 대해 거의 제공되지 않는 문제를 안고 있다. 본 연구는 도메인 적응(domain adaptation)의 관점에서 이 문제를 접근하며, 라벨링된 학습 데이터가 기존의 핀홀 카메라 이미지의 다른 분포에서 유래하는 환경에서 원형 의미적 세분화를 실현하는 설정을 제안한다. 이를 달성하기 위해, 원형 의미적 세분화를 위한 비지도 도메인 적응(unsupervised domain adaptation)의 작업을 체계화하고, 핀홀 카메라에서의 도메인 전이(Pinhole-to-Panoramic domain shift)를 연구하기 위해 특별히 설계된 밀집 라벨링 데이터셋인 DensePASS를 구축하였다. DensePASS는 Cityscapes에서 얻은 핀홀 카메라 학습 예제와 함께, 라벨링된 360도 이미지와 라벨링되지 않은 360도 이미지를 모두 포함하며, 라벨링된 데이터는 원천(즉, 핀홀) 도메인에서 제공되는 카테고리와 명확히 일치하는 19개의 클래스로 구성되어 있다. 데이터 기반 모델은 데이터 분포의 변화에 특히 취약하므로, 도메인 간 분산 문제를 해결하기 위해 주목사용 증강 도메인 적응 모듈의 다양한 변형을 활용하는 일반적인 프레임워크인 P2PDA(Pinhole-to-Panoramic Domain Adaptation)를 제안한다. P2PDA는 출력 공간, 특징 공간, 특징 신뢰도 공간에서의 전이를 가능하게 하며, 주목(head)을 통해 실시간으로 조절되는 신뢰도 값에 기반한 불확실성 인식 적응과 불일치 예측을 결합한다. 본 프레임워크는 도메인 대응 관계 학습 시 맥락 정보의 교환을 촉진하며, 정확도 중심 및 효율성 중심 모델의 적응 성능을 극적으로 향상시킨다. 광범위한 실험을 통해 본 프레임워크가 비지도 도메인 적응 및 전용 원형 세분화 접근법을 명확히 능가함을 확인하였다.