MILA: 도메인 간 객체 탐지를 위한 메모리 기반 인스턴스 수준 적응

다중 도메인 객체 탐지(multi-domain object detection)는 레이블이 부여된 소스 도메인과 레이블이 없는 타겟 도메인 간의 특성 정렬을 포함하는 도전적인 문제이다. 기존의 접근 방식들은 이미지 수준과 인스턴스 수준에서 특성을 정렬하기 위해 적대적 학습(adversarial training)을 활용해왔다. 인스턴스 수준에서 타겟 인스턴스와 잘 맞는 소스 인스턴스를 찾는 것이 특히 중요하다. 하나의 소스 인스턴스가 적합하다고 판단되기 위해서는, 방향성이나 색상과 같은 부가적인 특성 차이 없이 도메인만 다를 경우에 해당한다. 이러한 부가적인 특성 차이는 모델이 도메인 차이에 집중하는 데 방해가 될 수 있다. 그러나 기존의 인스턴스 수준 특성 정렬 방법들은 미니배치(mini-batch) 내에서만 검색 범위를 제한하기 때문에 적절한 소스 인스턴스를 찾는 데 어려움을 겪는다. 미니배치의 크기가 작아서 종종 적절한 소스 인스턴스를 포함하지 못하는 경우가 많으며, 특히 타겟 인스턴스의 클래스 내 변동성(intra-class variance)이 높을 경우 이러한 미니배치의 다양성 부족 문제가 더욱 심각해진다. 이 문제를 해결하기 위해 우리는 메모리 기반의 인스턴스 수준 도메인 적응 프레임워크를 제안한다. 본 방법은 메모리 저장소에서 동일한 카테고리의 가장 유사한 소스 인스턴스를 타겟 인스턴스와 정렬한다. 구체적으로, 레이블별로 분류된 모든 레이블된 소스 인스턴스의 풀링된 특성을 동적으로 저장하는 메모리 모듈을 도입한다. 또한 타겟 인스턴스에 대해 매칭되는 메모리 슬롯들을 효율적으로 검색하는 간단하면서도 효과적인 메모리 검색 모듈을 제안한다. 다양한 도메인 이동(scenario)에 대한 실험 결과, 제안한 방법이 기존의 메모리 기반 미적용 방법들에 비해 유의미하게 우수한 성능을 보임을 확인하였다.