HyperAIHyperAI

Command Palette

Search for a command to run...

Segmentation d'instances vidéo avec un paradigme Propose-Reduce

Huaijia Lin Ruizheng Wu Shu Liu Jiangbo Lu Jiaya Jia

Résumé

La segmentation d'instances vidéo (VIS) vise à segmenter et à associer toutes les instances des classes prédéfinies pour chaque trame d'une vidéo. Les méthodes précédentes obtiennent généralement la segmentation d'une trame ou d'un clip, puis fusionnent les résultats incomplets à l'aide de traçage ou de correspondance. Ces approches peuvent entraîner une accumulation d'erreurs lors de l'étape de fusion. À l'inverse, nous proposons un nouveau paradigme — Propose-Reduce — permettant de générer des séquences complètes pour les vidéos d'entrée en une seule étape. Nous avons également conçu une tête de propagation de séquence sur un réseau existant de segmentation d'instances au niveau image, afin de permettre une propagation à long terme. Pour assurer la robustesse et un haut taux de rappel de notre cadre proposé, plusieurs séquences sont initialement proposées, puis les séquences redondantes appartenant à la même instance sont réduites. Nous obtenons des performances de pointe sur deux jeux de données représentatifs : 47,6 % en termes d'AP sur l'ensemble de validation YouTube-VIS, et 70,4 % pour J&F sur l'ensemble de validation DAVIS-UVOS. Le code est disponible à l'adresse suivante : https://github.com/dvlab-research/ProposeReduce.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp