
40년 이상 동안, 대부분의 연구는 변분 방법을 사용하여 광학 흐름 추정 문제를 다루어 왔습니다. 기계 학습의 발전에 따라 최근 일부 연구에서는 합성곱 신경망(CNN)을 사용하여 이 문제를 해결하려고 시도하였으며, 유망한 결과를 보여주었습니다. 최신의 CNN인 FlowNet2는 정확한 흐름 추정을 위해 1억 6천만 개 이상의 매개변수를 필요로 합니다. 우리의 LiteFlowNet2는 모델 크기가 25.3배 작고 실행 속도가 3.1배 빠르면서 Sintel과 KITTI 벤치마크에서 FlowNet2를 능가하는 성능을 보입니다. LiteFlowNet2는 전통적인 방법들이 마련한 기반 위에 구축되었으며, 변분 방법에서 데이터 충실성과 정규화에 해당하는 역할을 닮아 있습니다. 우리는 SPyNet과 마찬가지로 공간 피라미드 형식으로 광학 흐름을 계산하지만, 새로운 경량화된 단계적 흐름 추론 방식을 통해 이를 수행합니다. 이 방식은 설명자 매칭(descriptor matching)을 원활하게 통합하면서 초기 수정을 통해 높은 흐름 추정 정확도를 제공합니다. 특징 주도 지역 합성곱(feature-driven local convolutions)은 아웃라이어와 모호한 흐름 경계 문제를 개선하기 위해 사용됩니다. 우리의 네트워크는 FlowNet2와 SPyNet에서 실시되는 이미지 왜곡(image warping) 대신 피라미드 특징 추출(pyramidal feature extraction) 구조와 특징 왜곡(feature warping)을 효과적으로 결합하고 있습니다. LiteFlowNet과 비교하여 LiteFlowNet2는 Sintel Clean에서 23.3%, Sintel Final에서 12.8%, KITTI 2012에서 19.6%, KITTI 2015에서 18.8%의 광학 흐름 정확도를 개선했으며, 실행 속도는 2.2배 빠릅니다. 우리의 네트워크 프로토콜과 학습된 모델들은 https://github.com/twhui/LiteFlowNet2 에서 공개적으로 이용 가능합니다.