HyperAIHyperAI

Command Palette

Search for a command to run...

Sous-titrage en direct de la vidéo

Blanco-Fernández Eduardo ; Gutiérrez-Álvarez Carlos ; Nasri Nadia ; Maldonado-Bascón Saturnino ; López-Sastre Roberto J.

Résumé

Le dense video captioning consiste à détecter et décrire les événements au sein de séquences vidéo. Les méthodes traditionnelles fonctionnent dans un cadre hors ligne, supposant que l'ensemble de la vidéo est disponible pour l'analyse. En revanche, dans ce travail, nous introduisons un paradigme novateur : le Live Video Captioning (LVC), où les légendes doivent être générées pour des flux vidéo en temps réel. Ce changement apporte des défis uniques, notamment le traitement d'observations partielles des événements et la nécessité d'une anticipation temporelle des actions. Nous définissons formellement le problème nouveau de LVC et proposons des métriques d'évaluation innovantes spécifiquement conçues pour ce scénario en ligne, démontrant leurs avantages par rapport aux métriques traditionnelles. Pour répondre aux complexités nouvelles du LVC, nous présentons un modèle qui combine des transformateurs déformables avec un filtrage temporel, permettant une légendisation efficace sur des flux vidéo. Des expériences approfondies sur l'ensemble de données ActivityNet Captions valident notre approche proposée, mettant en évidence ses performances supérieures dans le cadre du LVC par rapport aux méthodes hors ligne de pointe. Afin de favoriser des recherches ultérieures, nous fournissons les résultats de notre modèle et un kit d'outils d'évaluation intégrant les nouvelles métriques à l'adresse suivante : https://github.com/gramuah/lvc.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Sous-titrage en direct de la vidéo | Articles | HyperAI