Segmentation efficace d'objets vidéo par modulation de réseau

La segmentation d'objets vidéo vise à segmenter un objet spécifique tout au long d'une séquence vidéo, en se basant uniquement sur une première image annotée. Les approches récentes basées sur l'apprentissage profond ont montré leur efficacité en affinant un modèle de segmentation général à partir de l'image annotée, en utilisant des centaines d'itérations de descente de gradient. Malgré la haute précision que ces méthodes atteignent, le processus d'affinage est inefficace et ne répond pas aux exigences des applications dans le monde réel. Nous proposons une nouvelle approche qui utilise un seul passage avant pour adapter le modèle de segmentation à l'apparence d'un objet spécifique. Plus précisément, un deuxième réseau neuronal métier nommé modulateur est appris pour manipuler les couches intermédiaires du réseau de segmentation en se basant sur des informations visuelles et spatiales limitées de l'objet cible. Les expériences montrent que notre approche est 70 fois plus rapide que les méthodes d'affinage tout en atteignant une précision similaire.