적대적 이분 그래프 학습을 통한 비디오 도메인 적응

분포가 다른 도메인 간 모델 적응을 목표로 하는 도메인 적응 기법은 소스(학습) 도메인과 타겟(테스트) 도메인 간에 큰 공간적 및 시간적 변동이 존재하는 영상 인식 분야에서 거의 탐색되지 않았다. 최근의 시각적 도메인 적응 연구들은 적대적 학습을 활용하여 소스 및 타겟 영상 표현을 통합하고 특징 전이 능력을 강화하려는 시도를 하지만, 영상 데이터에 대해서는 높은 효과를 보이지 못하고 있다. 이러한 한계를 극복하기 위해 본 논문에서는 도메인 불변 표현을 학습하는 대신, 도메인에 의존하지 않는 영상 분류기를 학습하는 방식을 제안하며, 이중 그래프(bipartite graph) 구조를 활용하여 소스-타겟 간 상호작용을 직접 모델링하는 적대적 이중 그래프(Adversarial Bipartite Graph, ABG) 학습 프레임워크를 제안한다. 구체적으로, 소스 및 타겟 프레임을 이질적인 정점으로 샘플링하고, 두 유형의 노드를 연결하는 간선은 그들 간의 유사도를 측정한다. 메시지 전달(message-passing)을 통해 각 정점은 이질적 이웃으로부터 특징을 집계함으로써, 동일한 클래스에 속하는 특징들이 균일하게 혼합되도록 유도한다. 학습 및 테스트 단계에서 영상 분류기가 이러한 도메인 간 특징 표현에 명시적으로 노출됨으로써, 라벨이 부여된 소스 데이터에 대한 편향이 감소하고, 결과적으로 타겟 도메인에서 더 우수한 일반화 성능을 달성할 수 있다. 더불어, 모델의 표현 능력을 강화하고 어려운 전이 작업에 대한 제안된 아키텍처의 강건성을 검증하기 위해, 추가적인 영상 수준의 이중 그래프를 활용한 반감독 학습 설정으로 모델을 확장한다. 네 가지 벤치마크에서 수행된 광범위한 실험을 통해 제안된 방법이 영상 인식 작업에서 최신 기법들(SOTA)보다 우수한 성능을 보임을 입증하였다.