Command Palette
Search for a command to run...
FlowNet 2.0 : Évolution de l'estimation du flux optique avec les réseaux profonds
FlowNet 2.0 : Évolution de l'estimation du flux optique avec les réseaux profonds
Résumé
FlowNet a démontré que l’estimation du flux optique pouvait être formulée comme un problème d’apprentissage. Toutefois, l’état de l’art en matière de qualité du flux reste encore défini par les méthodes traditionnelles. En particulier pour les déplacements faibles et les données réelles, FlowNet ne parvient pas à rivaliser avec les méthodes variationnelles. Dans cet article, nous approfondissons le concept d’apprentissage end-to-end du flux optique et parvenons à le faire fonctionner de manière très efficace. Les améliorations significatives en termes de qualité et de vitesse s’expliquent par trois contributions majeures : premièrement, nous nous concentrons sur les données d’entraînement et montrons que le calendrier de présentation des données durant l’entraînement est crucial. Deuxièmement, nous proposons une architecture empilée incluant une déformation (warping) de la seconde image à l’aide du flux optique intermédiaire. Troisièmement, nous améliorons la prise en compte des petits déplacements en introduisant un sous-réseau spécialisé dans les mouvements faibles. FlowNet 2.0 est seulement légèrement plus lent que le modèle initial, mais il réduit l’erreur d’estimation de plus de 50 %. Il atteint des performances comparables aux méthodes de pointe tout en fonctionnant à des cadences interactives. En outre, nous présentons des variantes plus rapides permettant un calcul du flux optique jusqu’à 140 images par seconde, avec une précision équivalente à celle du FlowNet original.