Command Palette
Search for a command to run...
SA-DVAE: Verbesserung der Zero-Shot-Skelettbasierten Aktionserkennung durch
entkoppelte variationelle Autoencoder
SA-DVAE: Verbesserung der Zero-Shot-Skelettbasierten Aktionserkennung durch entkoppelte variationelle Autoencoder
Sheng-Wei Li Zi-Xiang Wei Wei-Jie Chen Yi-Hsin Yu Chih-Yuan Yang Jane Yung-jen Hsu
Zusammenfassung
Bestehende zero-shot-skelettbasierte Aktionserkennungsmethoden nutzen Projektionsnetzwerke, um einen gemeinsamen latenten Raum von Skelettmerkmalen und semantischen Einbettungen zu lernen. Die inhärente Ungleichgewichtigkeit in Aktionserkennungsdatensätzen, gekennzeichnet durch variable Skelettsequenzen und konstante Klassifikationslabels, stellt erhebliche Herausforderungen für die Ausrichtung dar. Um dieses Ungleichgewicht zu beheben, schlagen wir SA-DVAE – Semantische Ausrichtung durch entkoppelte variationsautoencoder (Disentangled Variational Autoencoders) – vor. Diese Methode verwendet zunächst Merkmalsentkopplung, um Skelettmerkmale in zwei unabhängige Teile zu trennen – einer ist semantisch relevant und der andere ist irrelevant – um eine bessere Ausrichtung von Skelett- und semantischen Merkmalen zu ermöglichen. Wir implementieren diesen Ansatz durch ein Paar modalitätsspezifischer variationsautoencoder, die mit einer Gesamtkorrekturstrafe gekoppelt sind. Wir führen Experimente auf drei Benchmark-Datensätzen durch: NTU RGB+D, NTU RGB+D 120 und PKU-MMD. Unsere experimentellen Ergebnisse zeigen, dass SA-DVAE eine verbesserte Leistung im Vergleich zu bestehenden Methoden erzielt. Der Code ist unter https://github.com/pha123661/SA-DVAE verfügbar.