Kontrastives Lernen aus extrem verarbeiteten Skelettfolgen für selbsterweiterte Aktionserkennung

In den letzten Jahren wurde das selbstüberwachte Repräsentationslernen für Skelettbasierte Aktionserkennung mit der Entwicklung von kontrastiven Lernmethoden weiter ausgebaut. Die bestehenden kontrastiven Lernmethoden verwenden normale Augmentierungen, um ähnliche positive Beispiele zu konstruieren, was die Fähigkeit einschränkt, neue Bewegungsmuster zu erkunden. In dieser Arbeit wird ein kontrastives Lernframework vorgeschlagen, das reichhaltige Informationsabbau für das selbstüberwachte Aktionssrepräsentationslernen nutzt (AimCLR). Zunächst werden extreme Augmentierungen und das energiebasierte aufmerksamkeitsgeführte Drop-Modul (EADM) vorgestellt, um vielfältige positive Beispiele zu erhalten, die neue Bewegungsmuster einführen und die Universalität der gelernten Repräsentationen verbessern. Zweitens, da die direkte Verwendung extremer Augmentierungen aufgrund drastischer Änderungen in der ursprünglichen Identität möglicherweise nicht die Leistung steigern kann, wird der Dualverteilungsdivergenzminimierungsschaden (D$^3$M Schaden) eingeführt, um die Verteilungsdivergenz auf eine weichere Art und Weise zu minimieren. Drittens wird der Next-Neighbor-Mining (NNM) vorgeschlagen, um positive Beispiele weiter auszudehnen und den Prozess des reichhaltigen Informationsabbaus vernünftiger zu gestalten. Ausführliche Experimente auf den Datensätzen NTU RGB+D 60, PKU-MMD und NTU RGB+D 120 haben bestätigt, dass unser AimCLR unter verschiedenen Evaluationsprotokollen signifikant besser als state-of-the-art Methoden abschneidet und höhere Qualität von Aktionssrepräsentationen zeigt. Unser Code ist unter https://github.com/Levigty/AimCLR verfügbar.