HyperAIHyperAI

Command Palette

Search for a command to run...

Propositions d'objets globaux pour améliorer les descriptions vidéo multi-phrases

Pushpak Bhattacharyya Sriparna Saha Chandresh S. Kanani

Résumé

Depuis quelques années, des progrès significatifs ont été réalisés dans le domaine de la génération de légendes d’images. En revanche, la génération de descriptions vidéo se trouve encore à un stade précoce, principalement en raison de la nature plus complexe des vidéos par rapport aux images. La production de descriptions paragraphe pour une vidéo représente un défi encore plus important. Parmi les principales difficultés figurent les dépendances temporelles entre objets ainsi que les relations complexes entre objets. Récemment, de nombreuses recherches se sont concentrées sur la génération de descriptions vidéo composées de plusieurs phrases. La majorité de ces approches repose sur une méthode en deux étapes : 1) la proposition d’événements, et 2) la génération de légendes. Bien que ces méthodes produisent des résultats satisfaisants, elles négligent l’information disponible de manière globale. Dans cette étude, nous proposons d’intégrer des propositions d’objets globaux lors de la génération des légendes vidéo. Les résultats expérimentaux sur le jeu de données ActivityNet démontrent que l’utilisation de propositions d’objets globaux permet de produire des légendes plus informatives et plus précises. Nous introduisons également trois métriques pour évaluer la capacité de détection d’objets du générateur. Une comparaison qualitative des légendes générées par la méthode proposée et celles des techniques de pointe confirme l’efficacité de notre approche.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp