EDAPS: 향상된 도메인 적응형 포괄 세분화

자율주행 산업의 성장에 따라 시각 인식 스택의 도메인 적응 기술은 비용 절감 잠재력 덕분에 중요한 연구 주제로 부상하고 있다. 기존 연구 대부분은 합성 데이터에서 실제 데이터로의 도메인 적응(semantic segmentation)에 집중되어 왔다. 그러나 인식 스택의 핵심 출력 중 하나인 패노픽 세그멘테이션(panoptic segmentation)은 도메인 적응 연구계에서 상당히 간과되어 왔다. 본 연구에서는 다른 분야에서 잘 성과를 내온 도메인 적응 전략을 재검토하고, 이를 패노픽 세그멘테이션에 적응시킨 후, 해당 전략들이 패노픽 도메인 적응을 효과적으로 향상시킬 수 있음을 입증한다. 더불어 패노픽 네트워크 설계를 심층적으로 탐구하며, 도메인 적응형 패노픽 세그멘테이션을 위해 특별히 설계된 새로운 아키텍처(EDAPS)를 제안한다. EDAPS는 공유된 도메인 강인성(transformer) 인코더를 사용하여 의미적 특징과 인스턴스 특징의 공동 적응을 촉진하지만, 각각 도메인 적응형 의미적 세그멘테이션과 인스턴스 세그멘테이션의 특수한 요구사항에 맞게 맞춤화된 태스크별 디코더를 활용한다. 그 결과, 도전적인 패노픽 벤치마크에서 관측되는 성능 격차가 크게 좁혀진다. EDAPS는 SYNTHIA-to-Cityscapes에서 기존 최고 성능 대비 20% 이상, 더 도전적인 SYNTHIA-to-Mapillary Vistas에서는 무려 72%의 성능 향상을 기록하며 패노픽 세그멘테이션의 비지도 도메인 적응(UDA) 성능을 획기적으로 향상시킨다. 구현 코드는 https://github.com/susaha/edaps 에 공개되어 있다.