TrickVOS : Une boîte à astuces pour la segmentation d'objets dans les vidéos

Les méthodes de réseaux de mémoire espace-temps (STM) ont dominé le domaine du segmention d'objets vidéo semi-supervisée (SVOS) en raison de leurs performances remarquables. Dans ce travail, nous identifions trois aspects clés où ces méthodes peuvent être améliorées : i) le signal de supervision, ii) la préformation et iii) la conscience spatiale. Nous proposons ensuite TrickVOS ; un ensemble générique de techniques s'appliquant à n'importe quelle méthode et abordant chacun de ces aspects avec i) une perte hybride structurée, ii) un régime simple de préformation du décodeur et iii) un suiveur peu coûteux qui impose des contraintes spatiales dans les prédictions du modèle. Enfin, nous proposons un réseau léger et montrons que lorsqu'il est formé avec TrickVOS, il obtient des résultats compétitifs par rapport aux méthodes les plus avancées sur les benchmarks DAVIS et YouTube, tout en étant l'une des premières méthodes SVOS basées sur STM capables de fonctionner en temps réel sur un appareil mobile.