HyperAIHyperAI

Command Palette

Search for a command to run...

Faktor-Graph-Attention

Idan Schwartz Seunghak Yu* Tamir Hazan Alexander Schwing

Zusammenfassung

Dialog ist eine effektive Methode zur Informationsaustausch, doch subtile Details und Nuancen sind äußerst wichtig. Obwohl erhebliche Fortschritte den Weg bereitet haben, um visuelle Dialoge mit Algorithmen zu bearbeiten, bleiben Details und Nuancen eine Herausforderung. Aufmerksamkeitsmechanismen haben überzeugende Ergebnisse bei der Extraktion von Details in der visuellen Fragebeantwortung gezeigt und bieten auch einen überzeugenden Rahmen für den visuellen Dialog aufgrund ihrer Interpretierbarkeit und Effektivität. Dennoch stellen die zahlreichen Datenutile, die mit dem visuellen Dialog einhergehen, eine Herausforderung für bestehende Aufmerksamkeitsmethoden dar. Wir greifen diese Problematik auf und entwickeln einen allgemeinen Aufmerksamkeitsmechanismus für den visuellen Dialog, der auf beliebig vielen Datenutilen operiert. Zu diesem Zweck entwerfen wir einen aufmerksamkeitsbasierten Faktorgraphen-Mechanismus, der beliebig viele Nutzendarstellungen kombiniert. Die Anwendbarkeit des vorgeschlagenen Ansatzes veranschaulichen wir anhand der herausfordernden und kürzlich eingeführten VisDial-Datensätze, wobei wir die neuesten Stand-der-Technik-Methoden um 1,1 % bei VisDial0.9 und um 2 % bei VisDial1.0 im Mean Reciprocal Rank (MRR) übertreffen. Unser Ensemble-Modell verbesserte den MRR-Score bei VisDial1.0 um mehr als 6 %.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Faktor-Graph-Attention | Paper | HyperAI