Hierarchische bedingte Beziehungsnetzwerke für Video-Fragebeantwortung

Video-Frage-Antwort (VideoQA) ist herausfordernd, da sie die Fähigkeit erfordert, dynamische visuelle Merkmale und entfernte Beziehungen zu modellieren sowie diese mit sprachlichen Konzepten zu verknüpfen. Wir stellen eine allgemein verwendbare, wiederverwendbare neuronale Einheit namens Conditional Relation Network (CRN) vor, die als Baustein zur Konstruktion komplexerer Strukturen für Darstellung und Schlussfolgerung über Videos dient. Die CRN nimmt ein Array tensorieller Objekte und ein bedingendes Merkmal als Eingabe entgegen und berechnet ein Array kodierter Ausgabeobjekte. Die Modellkonstruktion reduziert sich damit auf eine einfache Aufgabe der Repetition, Umordnung und Stapelung dieser wiederverwendbaren Einheiten für verschiedene Modalitäten und Kontextinformationen. Dieses Design unterstützt somit hochwertige relationale und mehrschrittige Schlussfolgerungen. Die resultierende Architektur für VideoQA ist eine CRN-Hierarchie, deren Zweige Unter-Video-Teile oder Clips darstellen, die alle dasselbe Frage-Element als kontextuelle Bedingung teilen. Unsere Evaluierungen auf etablierten Datensätzen erzielten neue SOTA-Ergebnisse und belegen den Einfluss der Entwicklung einer allgemein verwendbaren Schlussfolgerungseinheit auf komplexe Domänen wie VideoQA.