Adaptation en ligne des réseaux de neurones convolutifs pour la segmentation d'objets dans les vidéos

Nous abordons la tâche de segmentation d'objets vidéo semi-supervisée, c'est-à-dire la segmentation des pixels appartenant à un objet dans une vidéo en utilisant le masque de pixels vérité terrain pour le premier cadre. Nous nous appuyons sur l'approche récemment introduite de segmentation d'objets vidéo en un seul coup (OSVOS), qui utilise un réseau préentraîné et l'affine sur le premier cadre. Bien que cette méthode atteigne des performances impressionnantes, lors des tests, OSVOS utilise le réseau affiné sous sa forme inchangée et n'est pas capable de s'adapter à de grands changements dans l'apparence de l'objet. Pour surmonter cette limitation, nous proposons la segmentation d'objets vidéo adaptative en ligne (OnAVOS), qui met à jour le réseau en ligne en utilisant des exemples d'entraînement sélectionnés en fonction de la confiance du réseau et de la configuration spatiale. De plus, nous ajoutons une étape de préentraînement basée sur l'objectivité (objectness), qui est apprise sur PASCAL. Nos expériences montrent que ces deux extensions sont très efficaces et améliorent l'état de l'art sur DAVIS avec un score d'intersection-sur-union de 85,7%.