HyperAIHyperAI

Command Palette

Search for a command to run...

Akterspezifisches Beziehungsnetzwerk

Chen Sun Abhinav Shrivastava Carl Vondrick Kevin Murphy Rahul Sukthankar Cordelia Schmid

Zusammenfassung

Der aktuelle Stand der Technik bei der räumlich-zeitlichen Aktionslokalisation basiert auf Detektionen auf Frame-Ebene und modelliert den zeitlichen Kontext mit 3D ConvNets. In dieser Arbeit gehen wir einen Schritt weiter und modellieren räumlich-zeitliche Beziehungen, um die Interaktionen zwischen menschlichen Akteuren, relevanten Objekten und Szenenelementen abzubilden, die für die Unterscheidung ähnlicher menschlicher Aktionen essentiell sind. Unser Ansatz ist schwach überwacht und extrahiert die relevanten Elemente automatisch mit einem schauspielerzentrierten relationalen Netzwerk (ACRN). Das ACRN berechnet und akkumuliert paarweise Beziehungsinformationen aus Akteur- und globalen Szenenmerkmalen und generiert Beziehungsmuster für die Aktionsklassifizierung. Es wird als neuronales Netzwerk implementiert und kann gemeinsam mit einem bestehenden Aktionsdetektionssystem trainiert werden. Wir zeigen, dass das ACRN alternative Ansätze übertrifft, die Beziehungsinformationen erfassen, und dass das vorgeschlagene Framework die bisher beste Leistung auf JHMDB und AVA verbessert. Eine Visualisierung der gelernten Beziehungsmuster bestätigt, dass unser Ansatz in der Lage ist, sich auf die für jede Aktion relevanten Beziehungen zu konzentrieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp