Command Palette
Search for a command to run...
Erkennung von Situationen mit Graph Neural Networks
Erkennung von Situationen mit Graph Neural Networks
Zusammenfassung
Wir behandeln das Problem der Situationserkennung in Bildern. Gegeben ein Bild soll die Aufgabe darin bestehen, den auffälligsten Verb (Handlung) vorherzusagen und dessen semantische Rollen zu erfüllen, wie beispielsweise wer die Handlung ausführt, was die Quelle und das Ziel der Handlung ist usw. Verschiedene Verben verlangen unterschiedliche Rollen (z. B. „angreifen“ erfordert eine Waffe), und jede Rolle kann zahlreiche mögliche Werte (Nomen) annehmen. Wir stellen ein Modell basierend auf Graph Neural Networks vor, das es uns ermöglicht, gemeinsame Abhängigkeiten zwischen den Rollen effizient mithilfe von neuronalen Netzwerken auf einem Graphen zu erfassen. Experimente mit unterschiedlichen Graphen-Verbindlichkeiten zeigen, dass unser Ansatz, der Informationen zwischen den Rollen propagiert, deutlich besser abschneidet als bestehende Verfahren sowie mehrere Baselines. Wir erreichen eine Verbesserung um etwa 3–5 % gegenüber vorherigen Arbeiten bei der Vorhersage der vollständigen Situation. Zudem liefern wir eine umfassende qualitative Analyse unseres Modells sowie der Auswirkungen verschiedener Rollen auf die Verben.