HyperAIHyperAI

Command Palette

Search for a command to run...

Augmentierte Skelettbasierte kontrastive Aktionslernen mit Momentum-LSTM für unüberwachte Aktionserkennung

Haocong Rao Shihao Xu Xiping Hu Jun Cheng Bin Hu

Zusammenfassung

Die Aktionserkennung mittels 3D-Skelettdaten ist in den letzten Jahren ein aufstrebendes und wichtiges Thema geworden. Die meisten existierenden Methoden entweder extrahieren manuell gestaltete Deskriptoren oder lernen Aktionendarstellungen durch überwachte Lernparadigmen, die eine große Menge an etikettierten Daten erfordern. In dieser Arbeit schlagen wir zum ersten Mal ein kontrastives Aktionslernparadigma namens AS-CAL (Action Similarity Contrastive Action Learning) vor, das verschiedene Augmentierungen von nicht etikettierten Skelettdaten nutzen kann, um Aktionendarstellungen in einem unüberwachten Verfahren zu lernen. Speziell führen wir zunächst einen Kontrast der Ähnlichkeit zwischen augmentierten Instanzen (Query und Key) der Eingabe-Skelettsequenz ein, die durch mehrere neuartige Augmentierungsstrategien transformiert werden, um die inhärenten Aktionsmuster ("pattern-invariance") verschiedener Skeletttransformationen zu erlernen. Zweitens, um das Erlernen der "pattern-invariance" mit konsistenteren Aktionsdarstellungen zu fördern, schlagen wir einen Momentum-LSTM-Vorschlag vor, der als momentumbasierter gleitender Mittelwert des LSTM-basierten Query-Encoders implementiert wird, um die langfristigen Aktionsdynamiken der Key-Sequenz zu kodieren. Drittens führen wir eine Warteschlange ein, um die kodierten Keys zu speichern, was es unserem Modell ermöglicht, vorgehende Keys flexibel wiederverzuwen und ein konsistenteres Wörterbuch aufzubauen, um das kontrastive Lernen zu verbessern. Schließlich wird durch zeitliche Durchschnittsbildung der verborgenen Zustände der vom Query-Encoder gelernten Aktionen eine neue Darstellung namens Contrastive Action Encoding (CAE) vorgestellt, die effektiv menschliche Aktionen darstellen kann. Ausführliche Experimente zeigen, dass unser Ansatz die bestehenden manuell gestalteten Methoden typischerweise um 10-50% in Bezug auf Top-1-Akkuranz verbessert und vergleichbare oder sogar überlegene Leistung gegenüber zahlreichen überwachten Lernmethoden erzielen kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Augmentierte Skelettbasierte kontrastive Aktionslernen mit Momentum-LSTM für unüberwachte Aktionserkennung | Paper | HyperAI