초록
시간 일관성은 광학 흐름 추정의 맥락에서 귀중한 정보 출처입니다. 그러나 이 정보를 활용하기 위한 적절한 운동 모델을 찾는 것은 쉽지 않은 작업입니다. 본 논문에서는 각 프레임에 대해 이러한 운동 모델을 개별적으로 추정하는 합성곱 신경망(CNN) 기반의 비지도 온라인 학습 접근법을 제안합니다. 전방향과 후방향 운동 간의 관계를 설정함으로써, 이 학습된 모델들은 후방 흐름을 기반으로 귀중한 운동 정보를 유추할 뿐 아니라, 안전하지 않은 영역에서 신뢰할 수 있는 예측이 특히 유용한 경우 성능 향상에도 도움을 줍니다. 또한, 우리의 학습된 모델들은 공간적으로 변형 가능하므로 비강체 운동을 추정할 수 있습니다. 이로 인해 최근 강체 기반 접근법들이 추가적인 스테레오/구조로부터-운동(SfM) 제약 조건을 통합하여 추정을 개선하려고 하는데 있어서 주요 한계를 극복할 수 있습니다. 실험 결과는 우리 새로운 접근법의 유용성을 입증합니다. 예측 없이 진행된 베이스라인과 비교하여 KITTI 2012, KITTI 2015, MPI Sintel 등 모든 주요 벤치마크에서 최대 27%까지 일관된 성능 향상을 보여주며, 특히 비강체 운동이 가장 많이 포함된 세 가지 벤치마크 중 하나인 MPI Sintel 벤치마크에서 상위 결과를 나타냅니다.