HyperAIHyperAI

Command Palette

Search for a command to run...

ENTRER : Raisonnement Interprétable Basé sur les Événements pour VideoQA

Hammad Ayyubi* ♦ Junzhang Liu* ♦ Ali Asgarov† Zaber Hakim† Najibul Sarker† Zhecan Wang♦ Chia-Wei Tang† Hani Alomari† Md. Atabuzzaman† Xudong Lin♦ Naveen Reddy Dyava♦ Shih-Fu Chang♦ Chris Thomas†

Résumé

Dans cet article, nous présentons ENTER, un système de réponse à des questions sur vidéo (VideoQA) interprétable basé sur des graphes d'événements. Les graphes d'événements transforment les vidéos en représentations graphiques, où les événements vidéo constituent les nœuds et les relations entre événements (temporelles, causales ou hiérarchiques) forment les arêtes. Cette représentation structurée offre de nombreux avantages : 1) une réponse interprétable aux questions sur vidéo grâce au code généré qui analyse le graphe d'événements ; 2) l'intégration d'informations visuelles contextuelles dans le processus de raisonnement (génération de code) via les graphes d'événements ; 3) une réponse robuste aux questions sur vidéo grâce à la mise à jour itérative hiérarchique des graphes d'événements. Les systèmes VideoQA interprétables existants sont souvent top-down, négligeant les informations visuelles de bas niveau lors de la génération du plan de raisonnement, et sont fragiles. Bien que les approches bottom-up produisent des réponses à partir de données visuelles, elles manquent d'interprétabilité. Les résultats expérimentaux sur NExT-QA, IntentQA et EgoSchema montrent non seulement que notre méthode surpassent les approches top-down existantes tout en obtenant des performances compétitives par rapport aux approches bottom-up, mais plus important encore, elle offre une supériorité en termes d'interprétabilité et d'explicabilité dans le processus de raisonnement.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp