비디오 객체 분할을 위한 듀얼 프로토타입 주의 기제

비지도 비디오 객체 분할(VOS)은 비디오에서 가장 눈에 띄는 객체를 검출하고 분할하는 것을 목표로 합니다. 비지도 VOS에서 주로 사용되는 기술은 1) 외관 정보와 운동 정보의 협력; 그리고 2) 다른 프레임 간의 시간적 융합입니다. 본 논문에서는 이러한 기술을 다양한 모달과 프레임 간의 밀집된 전파를 통해 통합하기 위한 두 가지 새로운 프로토타입 기반 주의 메커니즘, 즉 모달 간 주의(IMA)와 프레임 간 주의(IFA)를 제안합니다. IMA는 상호 정교화를 기반으로 다양한 모달로부터 문맥 정보를 밀집적으로 통합합니다. IFA는 비디오의 전역 문맥을 쿼리 프레임에 주입하여 여러 프레임에서 유용한 속성을 완전히 활용할 수 있도록 합니다. 공개 벤치마크 데이터셋에서 수행한 실험 결과, 제안된 접근 방식이 모든 기존 방법보다 크게 우수함을 입증하였습니다. 또한 제안된 두 구성 요소는 생략 연구(ablative study)를 통해 철저히 검증되었습니다.