모델이 중요하며, 훈련도 마찬가지입니다: 광학 유동 추정을 위한 CNN의 실증적 연구

우리는 광유동 추정을 위한 CNN의 두 가지 핵심적이고 밀접하게 관련된 측면인 모델과 훈련에 대해 조사합니다. 첫째, 피라미드 처리, 워핑, 비용 체적 처리라는 간단하면서도 잘 확립된 원칙에 따라 소형이지만 효과적인 CNN 모델인 PWC-Net을 설계하였습니다. PWC-Net은 최근의 FlowNet2 모델보다 크기가 17배 작고, 추론 속도는 2배 빠르며, Sintel 최종 데이터셋에서 11% 더 정확합니다. 이 모델은 강건한 비전 도전 과제의 광유동 경쟁에서 우승작품으로 선정되었습니다. 다음으로, 성능 향상의 원인을 실험적으로 분석하였습니다. 특히, PWC-Net의 동일한 훈련 절차를 사용하여 FlowNet2의 하위 네트워크인 FlowNetC를 재훈련하였습니다. 재훈련된 FlowNetC는 이전에 훈련된 것보다 Sintel 최종 데이터셋에서 56% 더 정확하며, 심지어 FlowNet2 모델보다도 5% 더 정확합니다. 우리는 훈련 절차를 더욱 개선하여 PWC-Net의 Sintel 데이터셋에서의 정확성을 10%, KITTI 2012 및 2015 데이터셋에서는 20% 증가시켰습니다. 새로 훈련된 모델 매개변수와 훈련 프로토콜은 https://github.com/NVlabs/PWC-Net 에서 제공될 예정입니다.