Akterspezifisches Beziehungsnetzwerk

Der aktuelle Stand der Technik bei der räumlich-zeitlichen Aktionslokalisation basiert auf Detektionen auf Frame-Ebene und modelliert den zeitlichen Kontext mit 3D ConvNets. In dieser Arbeit gehen wir einen Schritt weiter und modellieren räumlich-zeitliche Beziehungen, um die Interaktionen zwischen menschlichen Akteuren, relevanten Objekten und Szenenelementen abzubilden, die für die Unterscheidung ähnlicher menschlicher Aktionen essentiell sind. Unser Ansatz ist schwach überwacht und extrahiert die relevanten Elemente automatisch mit einem schauspielerzentrierten relationalen Netzwerk (ACRN). Das ACRN berechnet und akkumuliert paarweise Beziehungsinformationen aus Akteur- und globalen Szenenmerkmalen und generiert Beziehungsmuster für die Aktionsklassifizierung. Es wird als neuronales Netzwerk implementiert und kann gemeinsam mit einem bestehenden Aktionsdetektionssystem trainiert werden. Wir zeigen, dass das ACRN alternative Ansätze übertrifft, die Beziehungsinformationen erfassen, und dass das vorgeschlagene Framework die bisher beste Leistung auf JHMDB und AVA verbessert. Eine Visualisierung der gelernten Beziehungsmuster bestätigt, dass unser Ansatz in der Lage ist, sich auf die für jede Aktion relevanten Beziehungen zu konzentrieren.