Apprentissage non supervisé guidé par EM pour une segmentation de mouvement efficace

Dans cet article, nous présentons une méthode entièrement non supervisée basée sur les CNN pour la segmentation de mouvement à partir du flux optique. Nous partons du principe que le flux optique d'entrée peut être représenté comme un ensemble par morceaux de modèles de mouvement paramétriques, généralement des modèles de mouvement affines ou quadratiques. L'idée centrale de notre travail est d'exploiter le cadre de l'algorithme Expectation-Maximization (EM) afin de concevoir, de manière rigoureuse, une fonction de perte et une procédure d'entraînement pour notre réseau neuronal de segmentation de mouvement qui ne nécessitent ni vérité terrain ni annotation manuelle. Cependant, contrairement à l'EM itératif classique, une fois le réseau entraîné, nous pouvons fournir une segmentation pour tout champ de flux optique inconnu en une seule étape d'inférence et sans estimer aucun modèle de mouvement. Nous examinons différentes fonctions de perte, y compris celles qui sont robustes, et proposons une nouvelle technique d'augmentation des données efficace sur le champ de flux optique, applicable à tout réseau prenant le flux optique comme entrée. De plus, notre méthode est capable par conception de segmenter plusieurs mouvements. Notre réseau neuronal de segmentation de mouvement a été testé sur quatre benchmarks : DAVIS2016, SegTrackV2, FBMS59 et MoCA, et a obtenu des performances très satisfaisantes tout en étant rapide lors des tests.