HyperAIHyperAI

Command Palette

Search for a command to run...

Bilineare Graph-Netzwerke für visuelle Fragebeantwortung

Dalu Guo Chang Xu Dacheng Tao

Zusammenfassung

Dieses Papier untersucht die bilinearen Aufmerksamkeitsnetzwerke (bilineare Attention Networks) in der visuellen Fragebeantwortungsaufgabe (Visual Question Answering Task) aus graphentheoretischer Perspektive. Die klassischen bilinearen Aufmerksamkeitsnetzwerke erstellen eine bilineare Aufmerksamkeitskarte, um die gemeinsame Darstellung von Wörtern in der Frage und Objekten im Bild zu extrahieren, aber sie erforschen das Verhältnis zwischen den Wörtern für komplexe Schlussfolgerungen nicht vollständig. Im Gegensatz dazu entwickeln wir bilineare Graphennetzwerke, um den Kontext der gemeinsamen Einbettungen von Wörtern und Objekten zu modellieren. Zwei Arten von Graphen werden untersucht: den Image-Graph und den Question-Graph.Der Image-Graph überträgt Merkmale der erkannten Objekte auf ihre zugehörigen Abfrage-Wörter, wodurch die Ausgabeknoten sowohl semantische als auch faktuelle Informationen besitzen. Der Question-Graph tauscht Informationen zwischen diesen Ausgabeknoten des Image-Graphs aus, um das implizite, aber wichtige Verhältnis zwischen den Objekten zu verstärken. Diese beiden Arten von Graphen arbeiten zusammen, sodass unser resultierendes Modell das Verhältnis und die Abhängigkeit zwischen den Objekten modellieren kann, was zur Realisierung von mehrstufiger Schlussfolgerung führt.Experimentelle Ergebnisse auf dem VQA v2.0 Validierungsdatensatz demonstrieren die Fähigkeit unserer Methode, komplexe Fragen zu bearbeiten. Auf dem Test-Std-Datensatz erreicht unser bestes einzelnes Modell eine state-of-the-art-Leistung und steigert die Gesamtgenauigkeit auf 72,41 %.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp