Tiefes Denken mit Wissensgraphen für das Verständnis sozialer Beziehungen

Soziale Beziehungen (z.B. Freunde, Partner usw.) bilden die Grundlage des sozialen Netzwerks in unserem täglichen Leben. Die automatische Interpretation solcher Beziehungen birgt ein großes Potenzial für intelligente Systeme, um das menschliche Verhalten tiefer zu verstehen und auf sozialer Ebene besser mit Menschen zu interagieren. Menschen interpretieren soziale Beziehungen innerhalb einer Gruppe nicht nur auf der Basis der Personen allein; die Wechselwirkung zwischen diesen sozialen Beziehungen und den kontextuellen Informationen um die Personen spielt ebenfalls eine wichtige Rolle. Diese zusätzlichen Hinweise werden jedoch von früheren Studien weitgehend übersehen. Wir fanden heraus, dass die Wechselwirkung zwischen diesen beiden Faktoren durch ein neues strukturiertes Wissensgraphenmodell effektiv modelliert werden kann, bei dem eine geeignete Nachrichtenverteilung und Aufmerksamkeit angewendet wird. Dieses strukturierte Wissen kann effizient in die Architektur eines tiefen neuronalen Netzes integriert werden, um das Verständnis sozialer Beziehungen durch ein von Ende zu Ende trainierbares Graph-Reasoning-Modell (GRM) zu fördern. Dabei wird ein Propagation-Mechanismus gelernt, um die Knotennachrichten durch den Graphen zu verteilen und die Interaktion zwischen Personen von Interesse und kontextuellen Objekten zu erforschen. Gleichzeitig wird ein graphbasiertes Aufmerksamkeitsmechanismus eingeführt, um diskriminative Objekte explizit abzuwägen und somit die Erkennung zu verbessern. Ausführliche Experimente an öffentlichen Benchmarks zeigen die Überlegenheit unserer Methode gegenüber den bestehenden führenden Konkurrenten.