SA-DVAE: Verbesserung der Zero-Shot-Skelettbasierten Aktionserkennung durch entkoppelte variationelle Autoencoder

Bestehende zero-shot-skelettbasierte Aktionserkennungsmethoden nutzen Projektionsnetzwerke, um einen gemeinsamen latenten Raum von Skelettmerkmalen und semantischen Einbettungen zu lernen. Die inhärente Ungleichgewichtigkeit in Aktionserkennungsdatensätzen, gekennzeichnet durch variable Skelettsequenzen und konstante Klassifikationslabels, stellt erhebliche Herausforderungen für die Ausrichtung dar. Um dieses Ungleichgewicht zu beheben, schlagen wir SA-DVAE – Semantische Ausrichtung durch entkoppelte variationsautoencoder (Disentangled Variational Autoencoders) – vor. Diese Methode verwendet zunächst Merkmalsentkopplung, um Skelettmerkmale in zwei unabhängige Teile zu trennen – einer ist semantisch relevant und der andere ist irrelevant – um eine bessere Ausrichtung von Skelett- und semantischen Merkmalen zu ermöglichen. Wir implementieren diesen Ansatz durch ein Paar modalitätsspezifischer variationsautoencoder, die mit einer Gesamtkorrekturstrafe gekoppelt sind. Wir führen Experimente auf drei Benchmark-Datensätzen durch: NTU RGB+D, NTU RGB+D 120 und PKU-MMD. Unsere experimentellen Ergebnisse zeigen, dass SA-DVAE eine verbesserte Leistung im Vergleich zu bestehenden Methoden erzielt. Der Code ist unter https://github.com/pha123661/SA-DVAE verfügbar.