Situationserkennung mit Graph-Neuronalen Netzen

Wir behandeln das Problem der Situationserkennung in Bildern. Bei einem gegebenen Bild besteht die Aufgabe darin, das prominenteste Verb (Aktion) vorherzusagen und dessen semantische Rollen zu bestimmen, wie zum Beispiel, wer die Aktion ausführt, was die Quelle und das Ziel der Aktion sind, usw. Verschiedene Verben haben unterschiedliche Rollen (z.B. angreifen hat Waffe), und jede Rolle kann viele mögliche Werte (Substantive) annehmen. Wir schlagen ein Modell auf Basis von Graph Neural Networks (GNNs) vor, das es uns ermöglicht, gemeinsame Abhängigkeiten zwischen den Rollen effizient mithilfe von auf einem Graph definierten neuronalen Netzen zu erfassen. Experimente mit verschiedenen Graphverbundenheiten zeigen, dass unser Ansatz, der Informationen zwischen den Rollen weitergibt, erheblich besser abschneidet als bisherige Arbeiten sowie mehrere Baseline-Methoden. Wir erzielen eine Verbesserung von etwa 3-5 % im Vergleich zu früheren Arbeiten bei der Vorhersage der gesamten Situation. Darüber hinaus liefern wir eine detaillierte qualitative Analyse unseres Modells und des Einflusses verschiedener Rollen in den Verben.