MaskFlownet : Correspondance asymétrique de caractéristiques avec masque d'occlusion apprenable

Le warpage de caractéristiques est une technique fondamentale dans l'estimation du flux optique ; toutefois, l'ambiguïté provoquée par les zones masquées (occlusion) lors du warpage constitue un problème majeur encore non résolu. Dans cet article, nous proposons un module de correspondance de caractéristiques asymétrique sensible aux occlusions, capable d'apprendre un masque d'occlusion grossier qui filtre immédiatement les zones inutiles (occulées) après le warpage des caractéristiques, sans nécessiter de supervision explicite. Ce module peut être facilement intégré dans des architectures de réseaux end-to-end et permet d'obtenir des gains de performance tout en ajoutant un coût computationnel négligeable. Le masque d'occlusion appris peut ensuite être utilisé dans une cascade de réseau ultérieure comprenant deux pyramides de caractéristiques, ce qui nous permet d'atteindre des performances de pointe. Au moment de la soumission, notre méthode, nommée MaskFlownet, dépasse toutes les méthodes publiées d'estimation du flux optique sur les benchmarks MPI Sintel, KITTI 2012 et 2015. Le code est disponible à l'adresse suivante : https://github.com/microsoft/MaskFlownet.