Pseudo-Labels을 이용한 반지도형 비디오 주요 객체 검출

딥러닝 기반의 비디오 주요 객체 검출이 최근에 다른 모든 비지도 방법보다 성능이 크게 우수한 결과를 달성하여 큰 성공을 거두었습니다. 그러나, 이러한 유망한 결과를 얻기 위해서는 기존의 데이터 주도 접근 방식들이 대량의 픽셀 단위로 주석화된 비디오 프레임에 크게 의존하고 있습니다. 본 논문에서는 의사 라벨(pseudo-labels)을 사용하여 반지도 비디오 주요 객체 검출 작업을 다룹니다. 구체적으로, 공간 정제 네트워크와 시공간 모듈로 구성된 효과적인 비디오 주요성 검출기를 제시합니다. 동일한 정제 네트워크와 광학 흐름(optical flow)으로 표현되는 운동 정보를 바탕으로, 우리는 부분적으로 주석화된 프레임에서 픽셀 단위의 의사 라벨을 생성하기 위한 새로운 방법을 제안합니다. 생성된 의사 라벨과 일부 수작업 주석을 활용함으로써, 우리의 비디오 주요성 검출기는 대조 추론과 일관성 강화를 위한 공간적 및 시간적 신호를 학습하여 정확한 주요성 맵을 생성합니다. 실험 결과는 우리 제안하는 반지도 방법이 VOS, DAVIS, FBMS 세 가지 공개 벤치마크에서 모든 최신 완전 지도 방법보다 크게 우수함을 입증하였습니다.