HyperAIHyperAI

Command Palette

Search for a command to run...

Cross-Model Cross-Stream Lernen für selbstüberwachtes menschliches Aktions-Recognition

Tianyu Hong; Guo Mengyuan; Liu Liu

Zusammenfassung

Angesichts der diskriminativen Fähigkeit auf Instanzebene wurden kontrastive Lernmethoden, darunter MoCo und SimCLR, von der ursprünglichen Aufgabe der Bildrepräsentationslernung angepasst, um das selbstüberwachte Aktionserkennungsproblem auf Basis von Skelett-Daten zu lösen. Diese Ansätze verwenden üblicherweise mehrere Datensströme (z. B. Gelenke, Bewegung und Knochen) für ensemblesbasiertes Lernen. Gleichzeitig bleibt die Frage offen, wie ein diskriminativer Merkmalsraum innerhalb eines einzelnen Ströms aufgebaut und die Informationen aus mehreren Strömen effektiv aggregiert werden können. Um dieses Problem anzugehen, wendet diese Arbeit erstmals eine neue kontrastive Lernmethode namens BYOL zur Analyse von Skelett-Daten an und formuliert darauf aufbauend SkeletonBYOL als eine einfache, aber effektive Baseline für selbstüberwachtes, auf Skelett-Daten basierendes Aktionserkennen. Inspiriert durch SkeletonBYOL präsentiert diese Arbeit zudem einen Cross-Model- und Cross-Stream (CMCS)-Framework. Dieser kombiniert Cross-Model-Adversariales Lernen (CMAL) und Cross-Stream-Kooperatives Lernen (CSCL). Konkret nutzt CMAL eine cross-model-adversarielle Verlustfunktion, um Einzelström-Representationen zu lernen und somit diskriminativere Merkmale zu erzeugen. Um die Aggregation und Interaktion von Mehrström-Informationen zu ermöglichen, wird CSCL durch die Generierung von Ähnlichkeits-Pseudolabels für das ensemblesbasierte Lernen als Supervision entworfen, wodurch die Merkmalsgenerierung einzelner Ströme geleitet wird. Umfassende Experimente an drei Datensätzen bestätigen die ergänzenden Eigenschaften zwischen CMAL und CSCL und zeigen zudem, dass die vorgeschlagene Methode im Vergleich zu aktuellen State-of-the-Art-Verfahren unter verschiedenen Evaluierungsprotokollen bessere Ergebnisse erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Cross-Model Cross-Stream Lernen für selbstüberwachtes menschliches Aktions-Recognition | Paper | HyperAI