HyperAIHyperAI

Command Palette

Search for a command to run...

Fusion Multi-Source et Sélection Automatique de Prédicteurs pour la Segmentation d'Objets Vidéo en Zero-Shot

Xiaoqi Zhao Youwei Pang Jiaxing Yang Lihe Zhang Huchuan Lu

Résumé

La localisation et l'apparence sont les indices clés pour la segmentation d'objets vidéo. De nombreuses sources, telles que les images RGB, la profondeur, le flux optique et la salience statique, peuvent fournir des informations utiles sur les objets. Cependant, les approches existantes ne tirent parti que des images RGB ou des images RGB et du flux optique. Dans cet article, nous proposons un nouveau réseau de fusion multi-sources pour la segmentation d'objets vidéo en zero-shot. Avec l'aide du module d'attention spatiale interoceptive (ISAM), l'importance spatiale de chaque source est mise en évidence. De plus, nous avons conçu un module de purification des caractéristiques (FPM) pour filtrer les caractéristiques incompatibles entre les sources. Grâce à l'ISAM et au FPM, les caractéristiques multi-sources sont efficacement fusionnées. En outre, nous avons développé un réseau de sélection automatique des prédicteurs (APS) pour choisir la meilleure prédiction entre le prédicteur de salience statique et le prédicteur d'objets mobiles afin d'éviter une dépendance excessive aux résultats erronés causés par des cartes de flux optique de faible qualité. Des expériences étendues sur trois benchmarks publics difficiles (à savoir DAVIS16_{16}16, Youtube-Objects et FBMS) montrent que le modèle proposé obtient des performances convaincantes face aux méthodes de pointe actuelles. Le code source sera rendu publiquement disponible sur \textcolor{red}{\url{https://github.com/Xiaoqi-Zhao-DLUT/Multi-Source-APS-ZVOS}}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp