Suivre pour détecter et segmenter : un suiveur d'objets multi-objets en ligne

La plupart des traqueurs multi-objets en ligne effectuent la détection d'objets de manière autonome dans un réseau neuronal, sans aucune information provenant du suivi. Dans cet article, nous présentons un nouveau modèle en ligne intégrant simultanément la détection et le suivi, appelé TraDeS (TRAck to DEtect and Segment), qui exploite les indices de suivi pour aider la détection de manière end-to-end. TraDeS estime les décalages de suivi des objets à l’aide d’un volume de coût, utilisé pour propager les caractéristiques des objets précédents afin d’améliorer la détection et la segmentation actuelles. L’efficacité et l’avantage de TraDeS sont démontrés sur quatre jeux de données, incluant MOT (suivi 2D), nuScenes (suivi 3D), MOTS et Youtube-VIS (suivi de segmentation d’instances). Page du projet : https://jialianwu.com/projects/TraDeS.html.