세마틱 자기적응: 단일 샘플을 통한 일반화 향상

도메인 외 일반화 부족은 의미 분할을 위한 딥 네트워크의 핵심적인 약점이다. 기존 연구들은 모델이 정적임을 전제로 해왔으며, 즉 학습 과정이 완료된 후 모델 파라미터는 테스트 시점에서도 고정된 상태를 유지한다고 가정했다. 본 연구에서는 이 전제를 도전하며, 입력 샘플에 따라 추론 과정을 자가 적응적으로 조정하는 의미 분할을 위한 자기 적응적 접근법을 제안한다. 자기 적응은 두 수준에서 작동한다. 첫째, 일관성 정규화를 활용하여 컨볼루션 계층의 파라미터를 입력 이미지에 맞게 미세 조정한다. 둘째, 배치 정규화 계층에서는 단일 테스트 샘플로부터 도출된 훈련 분포와 참조 분포 사이를 보간한다. 비록 두 기법 모두 기존 문헌에서 잘 알려진 것이지만, 이들의 조합은 합성 데이터에서 실세계 데이터로의 일반화 벤치마크에서 새로운 최고 성능을 달성하였다. 우리의 실증적 연구 결과는 자기 적응이 도메인 외 데이터에 대한 딥 네트워크 일반화를 향상시키기 위해 훈련 시점에서의 기존 모델 정규화 기법과 보완적으로 작용할 수 있음을 시사한다. 코드 및 사전 훈련된 모델은 https://github.com/visinf/self-adaptive 에서 확인할 수 있다.