PWC-Net: 피라미드, 와핑, 그리고 비용 볼륨을 사용한 광학 흐름을 위한 CNNs

우리는 광학 흐름을 위한 소형이지만 효과적인 CNN 모델인 PWC-Net을 제시합니다. PWC-Net은 피라미드 처리, 왜핑(warping), 비용 체적(cost volume) 사용이라는 간단하면서도 잘 확립된 원칙에 따라 설계되었습니다. 학습 가능한 특징 피라미드에서 PWC-Net은 현재의 광학 흐름 추정치를 사용하여 두 번째 이미지의 CNN 특징을 왜핑합니다. 그런 다음 왜핑된 특징과 첫 번째 이미지의 특징을 이용하여 비용 체적을 구성하고, 이 비용 체적을 CNN으로 처리하여 광학 흐름을 추정합니다. PWC-Net은 최근의 FlowNet2 모델보다 크기가 17배 작고 훈련하기가 더 쉽습니다. 또한, MPI Sintel 최종 패스와 KITTI 2015 벤치마크에서 모든 기존 광학 흐름 방법들을 능가하며, Sintel 해상도(1024x436) 이미지에서 약 35 fps로 실행됩니다. 우리의 모델들은 https://github.com/NVlabs/PWC-Net에서 제공됩니다.