UnOVOST: 비지도 오프라인 비디오 객체 세그멘테이션 및 추적

우리는 비지도 영상 객체 세분화(Unsupervised Video Object Segmentation, UVOS) 문제에 대해 다룬다. 이는 영상 시퀀스 내 주목할 만한 객체에 대해 정확한 픽셀 마스크를 자동으로 생성하고, 시간에 걸쳐 일관되게 객체를 추적하는 작업이며, 추적 대상이 되어야 할 객체에 대한 어떠한 입력도 제공되지 않는다는 점이 특징이다. 이러한 문제를 해결하기 위해, 다양한 종류의 객체를 추적하고 세분화할 수 있는 간단하고 일반적인 알고리즘인 UnOVOST(비지도 오프라인 영상 객체 세분화 및 추적)를 제안한다. 이 알고리즘은 여러 단계에 걸쳐 트랙을 구축한다. 먼저 공간-시간적으로 일관된 짧은 트랙릿(tracklets)으로 세그먼트를 그룹화한 후, 시각적 유사성 기반으로 이러한 트랙릿을 융합하여 장기적으로 일관된 객체 트랙을 생성한다. 이를 달성하기 위해, 트랙 가설의 결정 숲(decision forest)을 구축한 후 이를 경로로 자르는 새로운 트랙릿 기반의 포레스트 패스 커팅(FOREST PATH CUTTING) 데이터 연관 알고리즘을 도입한다. 이 알고리즘은 장기적으로 일관된 객체 트랙을 형성하는 경로들을 생성한다. DAVIS 2017 비지도 데이터셋에서 본 방법을 평가한 결과, 검증(val) 세트에서 평균 J&F 스코어 67.9%, 테스트-개발(test-dev)에서 58%, 테스트-챌린지(test-challenge)에서 56.4%의 성능을 기록하며, 최신 기술 수준의 성능을 달성했으며, DAVIS 2019 비지도 영상 객체 세분화 챌린지에서 1위를 차지했다. UnOVOST는 추적 및 세분화 대상 객체에 대한 어떤 입력도 주어지지 않았음에도 불구하고, 많은 반지도 영상 객체 세분화 알고리즘과 경쟁력을 갖추고 있음을 보여준다.