FlowNet 2.0 : Évolution de l’estimation du flot optique avec les réseaux profonds

Le FlowNet a démontré que l'estimation du flot optique peut être formulée comme un problème d'apprentissage. Cependant, en ce qui concerne la qualité du flot, l'état de l'art est encore défini par les méthodes traditionnelles. En particulier, sur des déplacements petits et des données réelles, FlowNet ne peut pas rivaliser avec les méthodes variationnelles. Dans cet article, nous développons le concept d'apprentissage de bout en bout du flot optique et le rendons vraiment efficace. Les améliorations importantes en termes de qualité et de vitesse sont dues à trois contributions majeures : premièrement, nous nous concentrons sur les données d'entraînement et montrons que le calendrier de présentation des données pendant l'entraînement est très important. Deuxièmement, nous élaborons une architecture empilée qui inclut le recalage de la deuxième image avec le flot optique intermédiaire. Troisièmement, nous abordons les petits déplacements en introduisant un sous-réseau spécialisé dans les mouvements minimes (small motions). Le FlowNet 2.0 est seulement légèrement plus lent que le FlowNet original mais réduit l'erreur d'estimation de plus de 50 %. Il offre des performances comparables aux méthodes les plus avancées tout en fonctionnant à des taux d'images interactifs. De plus, nous présentons des variantes plus rapides qui permettent le calcul du flot optique jusqu'à 140 images par seconde avec une précision équivalente à celle du FlowNet original.