초록
FlowNet2는 최신의 컨볼루션 신경망(CNN)으로, 정확한 광유동 추정을 위해 1억 6천만 개 이상의 매개변수를 필요로 합니다. 본 논문에서는 모델 크기가 30배 작고 실행 속도가 1.36배 빠른 대안적인 네트워크를 제시하며, 이 네트워크는 어려운 Sintel 최종 패스와 KITTI 벤치마크에서 FlowNet2를 능가합니다. 이러한 성능은 현재의 프레임워크에서 간과되었을 수 있는 아키텍처 세부사항에 집중함으로써 가능해졌습니다: (1) 우리는 각 피라미드 레벨에서 더 효과적인 광유동 추론 방법을 제시합니다. 이 경량 캐스케이드 네트워크는 초기 수정을 통해 광유동 추정 정확도를 향상시키며, 디스크립터 매칭을 우리의 네트워크에 원활하게 통합할 수 있게 합니다. (2) 우리는 특성 주도 로컬 컨볼루션을 사용하여 외부값 문제와 모호한 광유동 경계를 개선하는 새로운 광유동 정규화 계층을 제시합니다. (3) 우리의 네트워크는 피라미달 특성 추출에 대한 효과적인 구조를 가지고 있으며, FlowNet2에서 사용되는 이미지 왜핑(image warping)보다는 특성 왜핑(feature warping)을 채택합니다. 우리의 코드와 학습된 모델은 https://github.com/twhui/LiteFlowNet 에서 제공됩니다.