HyperAIHyperAI

Command Palette

Search for a command to run...

Progressives Aufmerksamkeitsgedächtnisnetzwerk für Filmgeschichtefragen und -antworten

Junyeong Kim* Minuk Ma Kyungsu Kim Sungjin Kim Chang D. Yoo

Zusammenfassung

Dieses Papier schlägt das Progressive Attention Memory Network (PAMN) für die Fragebeantwortung zu Filmdarstellungen (QA) vor. Die Fragebeantwortung zu Filmdarstellungen ist im Vergleich zur visuellen Fragebeantwortung (VQA) in zwei Aspekten herausfordernd: (1) die Identifizierung der zeitlichen Teile, die für die Beantwortung der Frage relevant sind, ist schwierig, da Filme in der Regel länger als eine Stunde dauern, (2) es umfasst sowohl Video- als auch Untertitelinformationen, wobei verschiedene Fragen unterschiedliche Modalitäten erfordern, um die Antwort abzuleiten. Um diese Herausforderungen zu bewältigen, verfügt PAMN über drei wesentliche Merkmale: (1) ein fortschreitendes Aufmerksamkeitsmechanismus, der Anhaltspunkte aus Frage und Antwort nutzt, um schrittweise irrelevante zeitliche Teile im Gedächtnis auszusortieren, (2) eine dynamische Modalfusionsmethode, die adaptiv den Beitrag jeder Modalität zur Beantwortung der aktuellen Frage bestimmt, und (3) ein Glaubenskorrekturverfahren zur nacheilenden Korrektur des Vorhersagescores für jede potenzielle Antwort. Experimente mit öffentlich zugänglichen Benchmark-Datensätzen wie MovieQA und TVQA zeigen, dass jedes Merkmal unserer Filmdarstellungs-Fragebeantwortungsarchitektur PAMN beiträgt und die Leistung verbessert, sodass sie den Stand der Technik erreicht. Zudem wird eine qualitative Analyse durch die Visualisierung des Inferenzmechanismus von PAMN bereitgestellt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp