Hochordnungs-Aufmerksamkeitsmodelle für visuelle Fragebeantwortung

Die Suche nach Algorithmen, die kognitive Fähigkeiten ermöglichen, ist ein wichtiger Bestandteil des maschinellen Lernens. Ein gemeinsames Merkmal vieler kognitionsähnlicher Aufgaben, die kürzlich untersucht wurden, besteht darin, dass sie verschiedene Datamodalitäten berücksichtigen, wie zum Beispiel visuelle und textuelle Eingaben. In dieser Arbeit schlagen wir eine neuartige und allgemein anwendbare Form eines Aufmerksamkeitsmechanismus vor, der hochwertige Korrelationen zwischen verschiedenen Datamodalitäten lernt. Wir zeigen, dass diese hochwertigen Korrelationen die Aufmerksamkeit effektiv auf die relevanten Elemente in den verschiedenen Datamodalitäten lenken, die für die Lösung der gemeinsamen Aufgabe erforderlich sind. Wir demonstrieren die Effektivität unseres hochwertigen Aufmerksamkeitsmechanismus am Beispiel der visuellen Fragebeantwortung (VQA), bei der wir auf dem Standard-VQA-Datensatz Spitzenleistungen erzielen.