HyperAIHyperAI

Command Palette

Search for a command to run...

CapsuleVOS : Segmentation d'objets vidéo semi-supervisée utilisant le routage de capsules

Kevin Duarte Yogesh S Rawat Mubarak Shah

Résumé

Dans cette étude, nous proposons une approche basée sur les capsules pour la segmentation semi-supervisée d'objets dans des vidéos. Les méthodes actuelles de segmentation d'objets vidéo sont généralement basées sur les images individuelles et nécessitent souvent un flux optique pour capturer la cohérence temporelle entre les images, ce qui peut être difficile à calculer. À cet égard, nous présentons un réseau neuronal à capsules basé sur la vidéo, appelé CapsuleVOS, capable de segmenter plusieurs images simultanément en se conditionnant sur une image de référence et son masque de segmentation. Cette conditionnement est réalisé grâce à un nouvel algorithme de routage pour une sélection efficace des capsules basée sur l'attention. Nous abordons deux problèmes complexes dans la segmentation d'objets vidéo : 1) la segmentation d'objets petits et 2) l'occlusion d'objets au fil du temps. Le problème de la segmentation d'objets petits est résolu par un module de zoom permettant au réseau de traiter des régions spatiales petites de la vidéo. De plus, le cadre utilise un nouveau module mémoire basé sur des réseaux récurrents qui aide à suivre les objets lorsqu'ils sortent du champ ou sont occultés. Le réseau est entraîné de manière end-to-end, et nous démontrons son efficacité sur deux jeux de données de référence pour la segmentation d'objets vidéo ; il surpassant les approches hors ligne actuelles sur le jeu de données Youtube-VOS tout en ayant une durée d'exécution presque deux fois plus rapide que les méthodes concurrentes. Le code est disponible publiquement sur https://github.com/KevinDuarte/CapsuleVOS.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp