HyperAIHyperAI

Command Palette

Search for a command to run...

Hierarchische bedingte Beziehungsnetzwerke für Video-Fragebeantwortung

Thao Minh Le Vuong Le Svetha Venkatesh Truyen Tran

Zusammenfassung

Video-Frage-Antwort (VideoQA) ist herausfordernd, da sie die Fähigkeit erfordert, dynamische visuelle Merkmale und entfernte Beziehungen zu modellieren sowie diese mit sprachlichen Konzepten zu verknüpfen. Wir stellen eine allgemein verwendbare, wiederverwendbare neuronale Einheit namens Conditional Relation Network (CRN) vor, die als Baustein zur Konstruktion komplexerer Strukturen für Darstellung und Schlussfolgerung über Videos dient. Die CRN nimmt ein Array tensorieller Objekte und ein bedingendes Merkmal als Eingabe entgegen und berechnet ein Array kodierter Ausgabeobjekte. Die Modellkonstruktion reduziert sich damit auf eine einfache Aufgabe der Repetition, Umordnung und Stapelung dieser wiederverwendbaren Einheiten für verschiedene Modalitäten und Kontextinformationen. Dieses Design unterstützt somit hochwertige relationale und mehrschrittige Schlussfolgerungen. Die resultierende Architektur für VideoQA ist eine CRN-Hierarchie, deren Zweige Unter-Video-Teile oder Clips darstellen, die alle dasselbe Frage-Element als kontextuelle Bedingung teilen. Unsere Evaluierungen auf etablierten Datensätzen erzielten neue SOTA-Ergebnisse und belegen den Einfluss der Entwicklung einer allgemein verwendbaren Schlussfolgerungseinheit auf komplexe Domänen wie VideoQA.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp