초록
본 논문에서는 광유동(optical flow)으로부터 운동 분할을 수행하는 CNN 기반 완전 비지도 방법을 제시합니다. 입력 광유동이 일반적으로 아핀(affine) 또는 이차(quadratic) 운동 모델과 같은 매개변수화된 운동 모델의 조각별 집합으로 표현될 수 있다고 가정합니다. 본 연구의 핵심 아이디어는 기대최대화(Expectation-Maximization, EM) 프레임워크를 활용하여, 정확한 방식으로 우리의 운동 분할 신경망의 손실 함수와 학습 절차를 설계하는 것입니다. 이 과정은 지표 데이터(ground-truth)나 수작업 주석(manual annotation)을 필요로 하지 않습니다. 그러나 전통적인 반복적 EM과 달리, 신경망이 학습된 후에는 어떠한 미확인 광유동 필드에 대해서도 단일 추론 단계에서 그리고 어떤 운동 모델도 추정하지 않고 분할 결과를 제공할 수 있습니다. 우리는 다양한 손실 함수, 특히 강건한(robust) 손실 함수들을 조사하고, 광유동 필드에 적용 가능한 새로운 효율적인 데이터 증강 기법을 제안합니다. 이 기법은 광유동을 입력으로 사용하는 모든 네트워크에 적용 가능합니다. 또한, 본 방법은 설계상 여러 개의 운동을 분할할 수 있는 능력을 가지고 있습니다. 우리의 운동 분할 네트워크는 DAVIS2016, SegTrackV2, FBMS59, MoCA 네 가지 벤치마크에서 테스트되었으며, 매우 우수한 성능을 보였으며 테스트 시 빠른 처리 속도를 유지하였습니다.