제로샷 디데이-나이트 도메인 어댑테이션: 물리학 사전 지식을 활용한 방법

우리는 일-야간 도메인 적응을 위한 제로샷 설정을 탐구한다. 기존의 도메인 적응 설정은 하나의 도메인에서 학습한 후, 테스트 세트로부터 얻은 레이블이 없는 데이터 샘플을 활용하여 타겟 도메인으로 적응하는 방식이다. 그러나 관련 테스트 데이터를 수집하는 것은 비용이 매우 높으며, 경우에 따라 불가능하기도 하므로, 우리는 테스트 데이터 이미지에 의존하지 않고, 물리 기반 반사 모델에서 유도된 시각적 인덕티브 프리어(유추 전제)를 활용하여 도메인 적응을 수행한다. 우리는 여러 가지 색상 불변 엣지 검출기들을 합성곱 신경망 내에서 학습 가능한 레이어로 설정하고, 조명 변화에 대한 강건성을 평가한다. 그 결과, 색상 불변 레이어가 네트워크 전체의 특징 맵 활성화에서 일-야간 분포 차이를 감소시킴을 보여준다. 또한 분류, 세그멘테이션, 장소 인식 등 다양한 작업에서 합성 및 실제 데이터셋 모두에서 제로샷 일에서 야간으로의 도메인 적응에 있어 성능이 향상됨을 입증한다.