Spatiotal Decouple-and-Squeeze Kontrastives Lernen für die semi-supervisierte Skelettbasierte Aktionserkennung

Kontrastives Lernen wurde erfolgreich eingesetzt, um Aktionenrepräsentationen zu erlernen, die das Problem der semi-überwachten, auf Skelette basierenden Aktionserkennung adressieren. Dennoch kontrastieren die meisten kontrastiv lernbasierten Methoden nur globale Merkmale, die räumliche und zeitliche Informationen mischen, was die räumlich- und zeitlich spezifischen Informationen verkompliziert, die auf Frame- und Gelenkebene unterschiedliche Semantik widerspiegeln. Daher schlagen wir einen neuen Rahmen zur räumlich-zeitlichen Entkopplung und Komprimierung kontrastiven Lernens (SDS-CL) vor, um durch gemeinsames Kontrastieren von räumlich komprimierten Merkmalen, zeitlich komprimierten Merkmalen und globalen Merkmalen reichhaltigere Repräsentationen von auf Skelette basierenden Aktionen umfassend zu erlernen.Im SDS-CL-Rahmen entwickeln wir ein neues Mechanismus zur räumlich-zeitlichen Entkopplung innerhalb und zwischen Aufmerksamkeit (SIIA), um räumlich-zeitlich entkoppelte Aufmerksamkeitsmerkmale zu erhalten. Dies geschieht durch Berechnung von räumlich- und zeitlich entkoppelten inneren Aufmerksamkeitskarten unter den Gelenk-/Bewegungsmerkmalen sowie durch Berechnung von räumlich- und zeitlich entkoppelten zwischenmenschlichen Aufmerksamkeitskarten zwischen den Gelenk- und Bewegungsmerkmalen. Diese Karten dienen dazu, räumlich-zeitliche spezifische Informationen zu erfassen.Des Weiteren stellen wir einen neuen Verlust für räumliche Kompression und zeitliches Kontrastieren (STL), einen neuen Verlust für zeitliche Kompression und räumliches Kontrastieren (TSL) sowie den globalen Kontrastverlust (GL) vor. Diese Verlustfunktionen dienen dazu, die räumlich komprimierten Gelenk- und Bewegungsmerkmale auf Frameebene, die zeitlich komprimierten Gelenk- und Bewegungsmerkmale auf Gelenkebene sowie die globalen Gelenk- und Bewegungsmerkmale auf Skelettniveau zu kontrastieren. Ausführliche experimentelle Ergebnisse auf vier öffentlichen Datensätzen zeigen, dass das vorgeschlagene SDS-CL in Bezug auf Leistungsgewinne gegenüber anderen wettbewerbsfähigen Methoden überlegen ist.