시공간 정보 없이 비디오 객체 분할

비디오 객체 분할 및 일반적으로 비디오 처리는 역사적으로 연속적인 비디오 프레임 간의 시간적 일관성과 중복성을 활용하는 방법에 의해 주도되어 왔습니다. 시간적 평활성이 갑자기 깨지는 경우, 예를 들어 객체가 가려지거나 시퀀스에서 일부 프레임이 누락될 때, 이러한 방법들의 결과가 크게 저하되거나 아예 어떤 결과도 생성하지 못할 수 있습니다. 본 논문은 각 프레임을 독립적으로 처리하는 직교 접근 방식, 즉 시간적 정보를 무시하는 방법을 탐구합니다. 특히, 첫 번째 프레임에서 객체 마스크가 주어진 상태에서 비디오에서 객체와 배경을 분리하는 반지도 비디오 객체 분할 작업을 다룹니다. 우리는 이 작업을 수행하기 위해 ImageNet에서 학습된 일반적인 의미론적 정보를 전경 분할 작업으로 순차적으로 전송하고, 마지막으로 테스트 시퀀스의 단일 주석된 객체의 외관을 학습하도록 설계된 완전 컨볼루션 신경망 구조 기반의 Semantic One-Shot Video Object Segmentation (OSVOS-S)를 제시합니다(따라서 원샷). 우리는 효과적으로 결합된 인스턴스 수준의 의미론적 정보가 이전 방법인 OSVOS의 결과를 극적으로 개선할 수 있음을 보여줍니다. 두 가지 최근 비디오 분할 데이터베이스에서 실험을 수행한 결과, OSVOS-S는 최신 연구 중 가장 빠르고 정확한 방법임을 확인하였습니다.