Command Palette
Search for a command to run...
Segmentation non supervisée d'objets vidéo avec suivi conjoint des points chauds
{Radomír Měch You He Zhe Lin Jianming Zhang Huchuan Lu Lu Zhang}

Résumé
Le suivi d’objets est un problème largement étudié en vision par ordinateur, tandis que l’identification des zones saillantes des objets dans une vidéo représente une direction moins explorée dans la littérature. Les méthodes actuelles d’estimation de regard vidéo visent à traiter une tâche apparentée, mais les zones saillantes qu’elles détectent ne sont pas contraintes par les objets et ont tendance à produire des prédictions très dispersées et instables, en raison de la qualité bruitée des données de vérité terrain. Nous reformulons le problème de détection et de suivi des zones saillantes d’objets comme une nouvelle tâche, appelée suivi des points chauds d’objets. Dans cet article, nous proposons de traiter conjointement cette tâche et la segmentation d’objets vidéo non supervisée en temps réel, à l’aide d’un cadre unifié afin d’exploiter la synergie entre les deux. Plus précisément, nous introduisons un réseau Siamese à corrélation pondérée (WCS-Net), qui utilise un bloc de corrélation pondérée (WCB) pour encoder la correspondance pixel par pixel entre une image modèle et une image de recherche. En outre, le WCB utilise le masque initial ou le point chaud comme guide afin d’intensifier l’influence des régions saillantes, garantissant ainsi un suivi robuste. Notre système fonctionne en mode en ligne pendant l’inférence et produit conjointement le masque de l’objet et les trajectoires de points chauds à 33 FPS. Les résultats expérimentaux valident l’efficacité de notre architecture réseau et mettent en évidence les bénéfices d’une résolution conjointe des problèmes de suivi des points chauds et de segmentation d’objets vidéo. En particulier, notre méthode se distingue favorablement par rapport aux modèles de pointe actuels de suivi du regard vidéo sur la tâche de suivi des points chauds, et surpasser les méthodes existantes sur trois jeux de données standard pour la segmentation d’objets vidéo non supervisée.
Benchmarks
| Benchmark | Méthodologie | Métriques |
|---|---|---|
| unsupervised-video-object-segmentation-on-10 | WCS-Net | F: 80.7 G: 81.5 J: 82.2 |
| unsupervised-video-object-segmentation-on-12 | WCS-Net | J: 70.5 |
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.