UniDAformer: 계층적 마스크 캘리브레이션을 통한 통합적 도메인 적응 편집 세그멘테이션 트랜스포머

도메인 적응형 패노픽 세그멘테이션은 하나 이상의 관련 소스 도메인에서 사용 가능한 사전에 레이블링된 데이터를 활용함으로써 데이터 레이블링 과제를 완화하는 것을 목표로 한다. 그러나 기존 연구들은 개체 세그멘테이션과 세밀한 세그멘테이션을 위해 별도의 두 개의 네트워크를 사용하는 방식을 채택하여 과도한 네트워크 파라미터를 초래하고, 학습 및 추론 과정이 복잡하며 계산적으로 부담이 큰 문제를 야기한다. 본 연구에서는 단일 네트워크 내에서 도메인 적응형 개체 세그멘테이션과 세밀한 세그멘테이션을 동시에 수행할 수 있는 간단하면서도 효과적인 통합형 도메인 적응형 패노픽 세그멘테이션 트랜스포머인 UniDAformer를 제안한다. UniDAformer는 온라인 자체 학습을 통해 영역, 슈퍼픽셀, 픽셀 단위의 정확하지 않은 예측을 보정하는 계층적 마스크 보정(Hierarchical Mask Calibration, HMC) 기법을 도입한다. 본 모델은 다음과 같은 세 가지 독특한 특징을 갖는다: 1) 통합된 도메인 적응형 패노픽 적응을 가능하게 한다; 2) 오류 예측을 효과적으로 완화하고 도메인 적응형 패노픽 세그멘테이션 성능을 향상시킨다; 3) 훨씬 간단한 학습 및 추론 파이프라인을 갖춘 엔드투엔드 훈련이 가능하다. 다양한 공개 벤치마크를 대상으로 수행한 광범위한 실험 결과, UniDAformer는 기존 최고 수준의 기법들과 비교하여 우수한 도메인 적응형 패노픽 세그멘테이션 성능을 달성함을 입증하였다.