HyperAIHyperAI

Command Palette

Search for a command to run...

Video-CoE : Renforcement de la prédiction d'événements vidéo par la chaîne d'événements

Qile Su Jing Tang Rui Chen Lei Sun Xiangxiang Chu

Résumé

Malgré les progrès réalisés dans l'application des MLLM à diverses tâches vidéo, la prédiction d'événements vidéo (VEP) reste relativement peu explorée. La VEP exige que le modèle effectue une modélisation temporelle fine des séquences vidéo et établisse des relations logiques entre les vidéos et les événements futurs, une capacité que les MLLM actuels peinent encore à maîtriser. Dans ce travail, nous présentons d'abord une évaluation approfondie des MLLM de pointe actuels sur la tâche de VEP, mettant en lumière les causes de leurs prédictions inexactes, notamment l'absence de capacités de raisonnement logique pour la prédiction d'événements futurs et une utilisation insuffisante des informations visuelles. Pour relever ces défis, nous proposons un paradigme appelé « Chain of Events » (CoE), qui construit des chaînes temporelles d'événements afin d'inciter implicitement le MLLM à se concentrer sur le contenu visuel et sur les liens logiques entre les vidéos et les événements futurs, tout en renforçant les capacités de raisonnement du modèle grâce à plusieurs protocoles d'entraînement. Les résultats expérimentaux sur des benchmarks publics démontrent que notre méthode surpasse à la fois les MLLM open-source et commerciaux les plus performants, établissant ainsi un nouvel état de l'art sur la tâche de VEP. Les codes et les modèles seront prochainement mis à disposition.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp