LiteFlowNet3 : Résolution de l'ambiguïté de correspondance pour une estimation plus précise du flux optique

Les approches fondées sur l’apprentissage profond ont remporté un grand succès dans la résolution du problème d’estimation du flux optique. Les clés de ce succès résident dans l’utilisation du volume de coût et de l’inférence du flux de grossier à fin. Toutefois, le problème d’appariement devient mal posé lorsque des régions partiellement occluses ou homogènes sont présentes dans les images. Cela entraîne la présence de valeurs aberrantes dans le volume de coût, affectant ainsi le décodage du flux à partir de ce dernier. Par ailleurs, l’inférence du flux de grossier à fin exige une initialisation précise du flux. Des correspondances ambigües conduisent à des champs de flux erronés, impactant négativement les inférences du flux aux niveaux suivants. Dans cet article, nous introduisons LiteFlowNet3, un réseau profond composé de deux modules spécialisés, conçu pour relever ces défis. (1) Nous améliorons le problème des valeurs aberrantes dans le volume de coût en modulant adaptativement chaque vecteur de coût avant le décodage du flux. (2) Nous améliorons davantage la précision du flux en explorant la cohérence locale du flux. À cette fin, chaque flux optique inexact est remplacé par un flux précis provenant d’une position voisine grâce à une nouvelle opération de déformation du champ de flux. LiteFlowNet3 atteint non seulement des résultats prometteurs sur des benchmarks publics, mais présente également une taille de modèle réduite et un temps d’exécution rapide.