PReMVOS: 비디오 객체 분할을 위한 제안 생성, 정제 및 병합

우리는 반지도 비디오 객체 분할 문제를 다루며, 이는 첫 프레임의 정확한 주석이 주어진 상태에서 비디오 시퀀스 내 객체에 대해 자동으로 정확하고 일관된 픽셀 마스크를 생성하는 작업입니다. 이를 위해 우리는 PReMVOS 알고리즘(비디오 객체 분할을 위한 제안 생성, 정제 및 병합)을 제시합니다. 우리의 방법은 이 문제를 두 단계로 나누어 처리합니다. 먼저 각 비디오 프레임에 대한 정확한 객체 분할 마스크 제안 집합을 생성하고, 그 다음에는 이러한 제안들을 선택하여 병합하여 비디오 시퀀스 전체에서 시간적으로 일관된 픽셀 단위의 객체 추적을 생성합니다. 이 과정은 특히 여러 객체를 비디오 시퀀스 전반에 걸쳐 분할하는 데 관련된 어려운 도전 과제를 해결하도록 설계되었습니다.우리의 접근 방식은 DAVIS 2017 비디오 객체 분할 벤치마크에서 테스트-개발 데이터셋의 J & F 평균 점수 71.6으로 모든 기존 최고 수준의 결과를 초월하였으며, DAVIS 2018 비디오 객체 분할 챌린지와 YouTube-VOS 1차 대규모 비디오 객체 분할 챌린지에서 모두 1등을 차지하였습니다.