HyperAIHyperAI

Command Palette

Search for a command to run...

Stratégie de Duplex Complet pour la Segmentation d'Objets Vidéo

Ge-Peng Ji Deng-Ping Fan* Keren Fu Zhe Wu Jianbing Shen Ling Shao

Résumé

Les approches précédentes de segmentation d'objets dans les vidéos se concentrent principalement sur l'utilisation de solutions simples entre l'apparence et le mouvement, limitant ainsi l'efficacité de la collaboration des caractéristiques au sein et entre ces deux indices. Dans ce travail, nous étudions un réseau à stratégie duplex complet (FSNet) novateur et efficace pour résoudre ce problème, en considérant un meilleur schéma de contrainte mutuelle entre le mouvement et l'apparence lors de l'exploitation des caractéristiques inter-modales issues des étapes de fusion et de décodage. Plus précisément, nous introduisons le module d'attention croisée relationnelle (RCAM) pour réaliser une propagation bidirectionnelle des messages à travers les sous-espaces d'embedding. Pour améliorer la robustesse du modèle et mettre à jour les caractéristiques incohérentes provenant des embeddings spatio-temporels, nous utilisons le module de purification bidirectionnel (BPM) après le RCAM. De nombreuses expériences menées sur cinq benchmarks populaires montrent que notre FSNet est robuste face à divers scénarios difficiles (par exemple, flou de mouvement, occultation) et obtient des performances favorables par rapport aux méthodes existantes les plus avancées, tant dans la tâche de segmentation d'objets dans les vidéos que dans celle de détection d'objets saillants dans les vidéos. Le projet est disponible au public à l'adresse suivante : https://dpfan.net/FSNet.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp