MDFlow : Apprentissage non supervisé du flux optique par distillation de connaissance mutuelle fiable

Les travaux récents ont démontré que le flux optique peut être appris par des réseaux profonds à partir de paires d’images non étiquetées, en se fondant sur l’hypothèse de constance de luminance et sur un prior de régularité. Les approches actuelles ajoutent en outre un terme de régularisation par augmentation pour une auto-supervision continue, méthode qui s’est avérée efficace dans les régions de correspondance difficiles. Toutefois, ce mécanisme amplifie également les mauvaises correspondances inévitables dans un cadre non supervisé, entravant ainsi l’apprentissage vers une solution optimale. Pour surmonter ce dilemme, nous proposons un cadre novateur de distillation mutuelle permettant de transférer de manière itérative des connaissances fiables entre les réseaux enseignant et étudiant afin d’assurer une amélioration alternée. Plus précisément, en prenant comme étiquettes pseudo-labels l’estimation fournie par une approche non supervisée existante, notre idée centrale consiste à définir un mécanisme de sélection de confiance afin d’extraire des correspondances relativement fiables, puis à appliquer des augmentations de données diversifiées pour distiller des connaissances adéquates et fiables du modèle enseignant vers le modèle étudiant. Grâce à la nature découplée de notre méthode, nous pouvons choisir une architecture d’étudiant plus puissante, favorisant ainsi un apprentissage plus approfondi. Enfin, les prédictions améliorées de l’étudiant sont utilisées pour transférer des connaissances de retour vers l’enseignant efficace, sans coût supplémentaire lors du déploiement réel. Contrairement à une formulation classique en apprentissage supervisé, nous constatons qu’introduire un terme supplémentaire non supervisé pour un apprentissage multi-cible conduit aux meilleurs résultats finaux. Des expériences étendues montrent que notre approche, nommée MDFlow, atteint un état de l’art en termes de précision en temps réel et de capacité de généralisation sur des benchmarks exigeants. Le code est disponible à l’adresse suivante : https://github.com/ltkong218/MDFlow.