HyperAIHyperAI

Command Palette

Search for a command to run...

EINGANG: Ereignisbasiertes interpretierbares Schließen für VideoQA

Hammad Ayyubi* ♦ Junzhang Liu* ♦ Ali Asgarov† Zaber Hakim† Najibul Sarker† Zhecan Wang♦ Chia-Wei Tang† Hani Alomari† Md. Atabuzzaman† Xudong Lin♦ Naveen Reddy Dyava♦ Shih-Fu Chang♦ Chris Thomas†

Zusammenfassung

In dieser Arbeit stellen wir ENTER vor, ein interpretierbares Videos-Frage-Antwort-System (VideoQA), das auf Ereignisgraphen basiert. Ereignisgraphen wandeln Videos in graphische Darstellungen um, bei denen die Videoereignisse die Knoten und die Beziehungen zwischen den Ereignissen (zeitlich/kausal/hierarchisch) die Kanten bilden. Diese strukturierte Darstellung bietet viele Vorteile: 1) Interpretierbare VideoQA durch generierten Code, der den Ereignisgraphen analysiert; 2) Einbeziehung kontextueller visueller Informationen im Schlussfolgerungsprozess (Codegenerierung) durch Ereignisgraphen; 3) Robuste VideoQA durch hierarchische iterative Aktualisierung der Ereignisgraphen. Bestehende interpretierbare VideoQA-Systeme sind oft von oben nach unten ausgerichtet und ignorieren dabei tiefebene visuelle Informationen bei der Generierung des Schlussfolgerungsplans, wodurch sie anfällig für Fehler sind. Während von unten nach oben gerichtete Ansätze Antworten aus visuellen Daten erzeugen, fehlt ihnen die Interpretierbarkeit. Experimentelle Ergebnisse auf NExT-QA, IntentQA und EgoSchema zeigen nicht nur, dass unsere Methode bestehende von oben nach unten gerichtete Ansätze übertrifft und gleichwertige Leistungen gegenüber von unten nach oben gerichteten Ansätzen erzielt, sondern dass sie vor allem eine überlegene Interpretierbarkeit und Erklärbarkeit im Schlussfolgerungsprozess bietet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp