Guess What Moves: Unsupervised Video and Image Segmentation by Anticipating Motion 무엇이 움직일지 추측하기: 운동 예측을 통한 비지도 동영상 및 이미지 분할

광학 흐름을 통해 측정된 운동은 이미지와 비디오에서 객체를 발견하고 학습하는 데 강력한 단서를 제공합니다. 그러나 외관을 사용하는 것과 비교할 때, 움직이지 않는 객체가 보이지 않게 되는 등의 몇 가지 사각 지대가 있습니다. 본 연구에서는 운동 기반 분할과 외관 기반 분할의 장점을 결합하는 접근법을 제안합니다. 우리는 단일 이미지를 입력으로만 사용하는 모델에 대해 간단한 운동 패턴이 포함될 가능성이 높은 영역을 예측하는 전제 작업(pretext task)으로 이미지 분할 네트워크를 감독하기로 제안합니다. 이 방법은 두 가지 설정에서 적용할 수 있습니다: 비지도 비디오 분할과 비지도 이미지 분할입니다. 우리는 비디오에 대한 최신 결과를 달성하였으며, 새로운 객체가 포함된 정지 이미지에서도 우리의 접근법의 타당성을 입증하였습니다. 또한 다양한 운동 모델과 광학 흐름 백본(optical flow backbone)을 실험하여 이 방법이 이러한 변화에 견고함을 확인하였습니다. 프로젝트 페이지와 코드는 https://www.robots.ox.ac.uk/~vgg/research/gwm 에서 이용 가능합니다.