SelFlow : Apprentissage auto-supervisé de l'écoulement optique

Nous présentons une approche d'apprentissage auto-supervisé pour le flux optique. Notre méthode extrait des estimations de flux fiables à partir des pixels non occultés et utilise ces prédictions comme vérité terrain pour apprendre le flux optique des occultations hallucinées. Nous avons également conçu un CNN simple pour exploiter les informations temporelles provenant de plusieurs images, afin d'améliorer l'estimation du flux. Ces deux principes conduisent à une approche qui offre les meilleures performances pour l'apprentissage non supervisé du flux optique sur des benchmarks difficiles, tels que MPI Sintel, KITTI 2012 et 2015. Plus remarquablement, notre modèle pré-entraîné en auto-supervision fournit une initialisation excellente pour le réglage fin supervisé. Nos modèles réglés finement atteignent des résultats de pointe sur les trois jeux de données. Au moment de la rédaction, nous obtenons un EPE (Erreur de Prédiction Euclidienne) = 4,26 sur le benchmark Sintel, surpassant toutes les méthodes soumises.