HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Segmentation non supervisée d'objets vidéo avec suivi conjoint des points chauds

{Radomír Měch You He Zhe Lin Jianming Zhang Huchuan Lu Lu Zhang}

Segmentation non supervisée d'objets vidéo avec suivi conjoint des points chauds

Résumé

Le suivi d’objets est un problème largement étudié en vision par ordinateur, tandis que l’identification des zones saillantes des objets dans une vidéo représente une direction moins explorée dans la littérature. Les méthodes actuelles d’estimation de regard vidéo visent à traiter une tâche apparentée, mais les zones saillantes qu’elles détectent ne sont pas contraintes par les objets et ont tendance à produire des prédictions très dispersées et instables, en raison de la qualité bruitée des données de vérité terrain. Nous reformulons le problème de détection et de suivi des zones saillantes d’objets comme une nouvelle tâche, appelée suivi des points chauds d’objets. Dans cet article, nous proposons de traiter conjointement cette tâche et la segmentation d’objets vidéo non supervisée en temps réel, à l’aide d’un cadre unifié afin d’exploiter la synergie entre les deux. Plus précisément, nous introduisons un réseau Siamese à corrélation pondérée (WCS-Net), qui utilise un bloc de corrélation pondérée (WCB) pour encoder la correspondance pixel par pixel entre une image modèle et une image de recherche. En outre, le WCB utilise le masque initial ou le point chaud comme guide afin d’intensifier l’influence des régions saillantes, garantissant ainsi un suivi robuste. Notre système fonctionne en mode en ligne pendant l’inférence et produit conjointement le masque de l’objet et les trajectoires de points chauds à 33 FPS. Les résultats expérimentaux valident l’efficacité de notre architecture réseau et mettent en évidence les bénéfices d’une résolution conjointe des problèmes de suivi des points chauds et de segmentation d’objets vidéo. En particulier, notre méthode se distingue favorablement par rapport aux modèles de pointe actuels de suivi du regard vidéo sur la tâche de suivi des points chauds, et surpasser les méthodes existantes sur trois jeux de données standard pour la segmentation d’objets vidéo non supervisée.

Benchmarks

BenchmarkMéthodologieMétriques
unsupervised-video-object-segmentation-on-10WCS-Net
F: 80.7
G: 81.5
J: 82.2
unsupervised-video-object-segmentation-on-12WCS-Net
J: 70.5

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Segmentation non supervisée d'objets vidéo avec suivi conjoint des points chauds | Articles de recherche | HyperAI