제안, 추적 및 분할(PTS): 비디오 객체 분할을 위한 단계적 네트워크

비디오 객체 분할(Video Object Segmentation, VOS)은 첫 번째 프레임의 주석만을 제공받아 픽셀 단위로 객체를 추적하는 것을 목표로 합니다. 비디오 내 객체의 큰 시각적 변동성과 훈련 샘플 부족으로 인해, 딥 러닝의 급속한 발전에도 불구하고 여전히 어려운 과제입니다. VOS 문제 해결을 위해, 우리는 객체 제안, 추적 및 분할 구성 요소로 이루어진 제안된 통합 프레임워크를 통해 여러 새로운 통찰력을 도입합니다. 객체 제안 네트워크는 객체성 정보를 일반 지식으로 VOS에 전달하며, 추적 네트워크는 제안된 후보들에서 대상 객체를 식별하고, 분할 네트워크는 새로운 동적 참조 기반 모델 적응 방식을 사용하여 추적 결과에 기반하여 수행됩니다. DAVIS'17 데이터셋과 YouTube-VOS 데이터셋에서 광범위한 실험이 진행되었으며, 우리의 방법은 여러 비디오 객체 분할 벤치마크에서 최신 성능을 달성하였습니다. 우리는 코드를 https://github.com/sydney0zq/PTSNet 에 공개적으로 제공합니다.