Faktor-Graph-Attention

Dialog ist eine effektive Methode zur Informationsaustausch, doch subtile Details und Nuancen sind äußerst wichtig. Obwohl erhebliche Fortschritte den Weg bereitet haben, um visuelle Dialoge mit Algorithmen zu bearbeiten, bleiben Details und Nuancen eine Herausforderung. Aufmerksamkeitsmechanismen haben überzeugende Ergebnisse bei der Extraktion von Details in der visuellen Fragebeantwortung gezeigt und bieten auch einen überzeugenden Rahmen für den visuellen Dialog aufgrund ihrer Interpretierbarkeit und Effektivität. Dennoch stellen die zahlreichen Datenutile, die mit dem visuellen Dialog einhergehen, eine Herausforderung für bestehende Aufmerksamkeitsmethoden dar. Wir greifen diese Problematik auf und entwickeln einen allgemeinen Aufmerksamkeitsmechanismus für den visuellen Dialog, der auf beliebig vielen Datenutilen operiert. Zu diesem Zweck entwerfen wir einen aufmerksamkeitsbasierten Faktorgraphen-Mechanismus, der beliebig viele Nutzendarstellungen kombiniert. Die Anwendbarkeit des vorgeschlagenen Ansatzes veranschaulichen wir anhand der herausfordernden und kürzlich eingeführten VisDial-Datensätze, wobei wir die neuesten Stand-der-Technik-Methoden um 1,1 % bei VisDial0.9 und um 2 % bei VisDial1.0 im Mean Reciprocal Rank (MRR) übertreffen. Unser Ensemble-Modell verbesserte den MRR-Score bei VisDial1.0 um mehr als 6 %.