PWC-Net : CNNs pour le flot optique utilisant une pyramide, un décalage et un volume de coût

Nous présentons un modèle de réseau neuronal convolutif (CNN) compact mais efficace pour le flux optique, appelé PWC-Net. PWC-Net a été conçu selon des principes simples et bien établis : traitement pyramidal, déformation (warping) et utilisation d'un volume de coût. Intégré dans une pyramide de caractéristiques apprenable, PWC-Net utilise l'estimation actuelle du flux optique pour déformer les caractéristiques CNN de la deuxième image. Il construit ensuite un volume de coût à partir des caractéristiques déformées et des caractéristiques de la première image, qui est traité par un CNN pour estimer le flux optique. PWC-Net est 17 fois plus petit en taille et plus facile à entraîner que le modèle récent FlowNet2. De plus, il surpasse toutes les méthodes publiées de flux optique sur les benchmarks MPI Sintel final pass et KITTI 2015, fonctionnant à environ 35 images par seconde sur des images de résolution Sintel (1024x436). Nos modèles sont disponibles sur https://github.com/NVlabs/PWC-Net.