마스킹 재학습 테이처-스터디 프레임워크를 통한 도메인 적응형 객체 탐지

도메인 적응 객체 탐지(DAOD)는 레이블이 있는 도메인(소스)을 활용하여 레이블이 없는 새로운 도메인(타겟)에도 일반화 가능한 객체 탐지기를 학습하는 기법이다. 최근의 발전은 교사-학생(teacher-student) 프레임워크를 사용하며, 학생 모델이 교사 모델로부터 생성된 가상 레이블(pseudo labels)에 의해 지도학습된다. 비록 높은 성과를 거두었지만, 도메인 편차(domain shift)로 인해 잘못된 예측을 초래하는 제한된 수의 가상 박스로 인해 학생 모델이 최적의 성능에 도달하지 못하는 문제가 존재한다. 이러한 문제를 완화하기 위해, 우리는 탐지 트랜스포머 기반의 마스크형 재학습 교사-학생 프레임워크(MRT)를 제안한다. 구체적으로, 타겟 이미지의 다중 스케일 특징맵을 마스킹하고, 학생 모델의 인코더와 보조 디코더를 활용하여 특징을 재구성하는 맞춤형 마스크형 자동에코더(masked autoencoder) 브랜치를 설계하였다. 이를 통해 학생 모델은 타겟 도메인의 특성을 더 잘 포착할 수 있으며, 제한된 수의 가상 박스로부터도 더 효율적으로 지식을 습득할 수 있는 데이터 효율적인 학습자로 발전할 수 있다. 또한, 선택적 재학습 메커니즘을 도입하여, 마스크형 자동에코더가 개선한 가중치로 학생 모델의 일부 파라미터를 주기적으로 재초기화함으로써, 잘못된 가상 레이블에 편향된 국소 최적값(local optimum)에서 벗어나도록 한다. 세 가지 DAOD 벤치마크에서의 실험 결과를 통해 제안한 방법의 효과성을 입증하였다. 코드는 https://github.com/JeremyZhao1998/MRT-release 에서 확인할 수 있다.