FlowNet 2.0: 깊은 네트워크를 이용한 광학 유동 추정의 진화

FlowNet은 광학 흐름 추정이 학습 문제로 다룰 수 있음을 입증했습니다. 그러나, 흐름의 품질 측면에서 여전히 최신 기술은 전통적인 방법에 의해 정의되고 있습니다. 특히 작은 변위와 실제 데이터에서 FlowNet은 변분법과 경쟁하기 어렵습니다. 본 논문에서는 광학 흐름의 엔드투엔드 학습 개념을 발전시키고 이를 실제로 잘 작동하도록 합니다. 품질과 속도에서 크게 개선된 이유는 세 가지 주요 기여 때문입니다. 첫째, 학습 데이터에 초점을 맞추어 학습 중 데이터를 제시하는 일정이 매우 중요하다는 것을 보여줍니다. 둘째, 두 번째 이미지를 중간 광학 흐름으로 왜핑(warping)하는 스택 아키텍처를 개발하였습니다. 셋째, 작은 변위에 대해 특화된 하위 네트워크를 도입하여 작은 운동에 대해 자세히 설명합니다.FlowNet 2.0은 원래의 FlowNet보다 약간 느리지만 추정 오류를 50% 이상 줄였습니다. 이는 최신 기술들과 동등한 성능을 내면서도 상호작용 가능한 프레임 속도로 실행됩니다. 또한, 최대 140fps까지 광학 흐름 계산이 가능하면서 원래의 FlowNet과 동일한 정확성을 제공하는 더 빠른 변형 모델들을 소개합니다.