Mixture-Kernel Graph Attention Network für die Situationserkennung

Die Verarbeitung von Bildern jenseits auffälliger Handlungen erfordert das Schlussfolgern bezüglich der Szenenkontexte, Objekte sowie deren Rollen im jeweiligen Ereignis. Die Situationserkennung wurde kürzlich als Aufgabe eingeführt, die gleichzeitige Schlussfolgerungen über Verben (Aktionen) und eine Menge semantischer Rollen- sowie Entitäts-(Nomen-)Paare in Form von Aktionsrahmen beinhaltet. Die Beschriftung eines Bildes mit einem Aktionsrahmen erfordert die Zuweisung von Werten (Nomen) zu den Rollen basierend auf dem beobachteten Bildinhalt. Zu den inhärenten Herausforderungen zählen die reichhaltigen bedingten strukturierten Abhängigkeiten zwischen den Ausgabewerten der Rollenzuweisungen sowie die insgesamt geringe semantische Dichte. In diesem Paper stellen wir eine neuartige Mischkern-Attention-Graph Neural Network (GNN)-Architektur vor, die speziell darauf ausgelegt ist, diese Herausforderungen zu bewältigen. Unsere GNN ermöglicht eine dynamische Graphstruktur während des Trainings und der Inferenz durch den Einsatz eines Graph-Attention-Mechanismus sowie kontextbewusster Interaktionen zwischen Rollenpaaren. Wir belegen die Wirksamkeit unseres Modells und der getroffenen Designentscheidungen durch Experimente am imSitu-Benchmark-Datensatz, wobei wir Genauigkeitsverbesserungen von bis zu 10 % gegenüber dem Stand der Technik erreichen.