HyperAIHyperAI

Command Palette

Search for a command to run...

Temporale relationale Modellierung mit Selbstüberwachung für die Aktionssegmentierung

Dong Wang Di Hu Xingjian Li Dejing Dou

Zusammenfassung

Die zeitliche relationale Modellierung in Videos ist entscheidend für das Verständnis menschlicher Aktionen, beispielsweise bei der Aktionserkennung und der Aktionssegmentierung. Obwohl Graph-Convolution-Netze (GCNs) auf vielen Aufgaben hinsichtlich der Relationen-Reasoning vielversprechende Vorteile gezeigt haben, bleibt die effektive Anwendung von GCNs auf lange Video-Sequenzen weiterhin eine Herausforderung. Der Hauptgrund hierfür ist die große Anzahl an Knoten (d. h. Videoframes), die es GCNs erschwert, zeitliche Relationen in Videos zu erfassen und zu modellieren. Um dieses Problem anzugehen, stellen wir in diesem Artikel ein effektives GCN-Modul vor, den Dilated Temporal Graph Reasoning Module (DTGRM), das entwickelt wurde, um zeitliche Beziehungen und Abhängigkeiten zwischen Videoframes über verschiedene Zeitspannen hinweg zu modellieren. Insbesondere erfassen und modellieren wir zeitliche Relationen durch den Aufbau mehrstufiger, dilatierter zeitlicher Graphen, wobei die Knoten Frames aus unterschiedlichen Zeitpunkten im Video darstellen. Darüber hinaus wird eine ergänzende selbstüberwachte Aufgabe vorgeschlagen, um die zeitliche Reasoning-Fähigkeit des vorgeschlagenen Modells zu verbessern und den DTGRM-Modul dazu zu bringen, falsche zeitliche Beziehungen in Videos zu erkennen und zu korrigieren. Unser DTGRM-Modell erreicht eine bessere Leistung als aktuell beste Aktionssegmentierungsmodelle auf drei anspruchsvollen Datensätzen: 50Salads, Georgia Tech Egocentric Activities (GTEA) und dem Breakfast-Datensatz. Der Quellcode ist unter https://github.com/redwang/DTGRM verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Temporale relationale Modellierung mit Selbstüberwachung für die Aktionssegmentierung | Paper | HyperAI