HyperAIHyperAI

Command Palette

Search for a command to run...

Spatiotal Decouple-and-Squeeze Kontrastives Lernen für die semi-supervisierte Skelettbasierte Aktionserkennung

Binqian Xu Xiangbo Shu, Senior Member, IEEE

Zusammenfassung

Kontrastives Lernen wurde erfolgreich eingesetzt, um Aktionenrepräsentationen zu erlernen, die das Problem der semi-überwachten, auf Skelette basierenden Aktionserkennung adressieren. Dennoch kontrastieren die meisten kontrastiv lernbasierten Methoden nur globale Merkmale, die räumliche und zeitliche Informationen mischen, was die räumlich- und zeitlich spezifischen Informationen verkompliziert, die auf Frame- und Gelenkebene unterschiedliche Semantik widerspiegeln. Daher schlagen wir einen neuen Rahmen zur räumlich-zeitlichen Entkopplung und Komprimierung kontrastiven Lernens (SDS-CL) vor, um durch gemeinsames Kontrastieren von räumlich komprimierten Merkmalen, zeitlich komprimierten Merkmalen und globalen Merkmalen reichhaltigere Repräsentationen von auf Skelette basierenden Aktionen umfassend zu erlernen.Im SDS-CL-Rahmen entwickeln wir ein neues Mechanismus zur räumlich-zeitlichen Entkopplung innerhalb und zwischen Aufmerksamkeit (SIIA), um räumlich-zeitlich entkoppelte Aufmerksamkeitsmerkmale zu erhalten. Dies geschieht durch Berechnung von räumlich- und zeitlich entkoppelten inneren Aufmerksamkeitskarten unter den Gelenk-/Bewegungsmerkmalen sowie durch Berechnung von räumlich- und zeitlich entkoppelten zwischenmenschlichen Aufmerksamkeitskarten zwischen den Gelenk- und Bewegungsmerkmalen. Diese Karten dienen dazu, räumlich-zeitliche spezifische Informationen zu erfassen.Des Weiteren stellen wir einen neuen Verlust für räumliche Kompression und zeitliches Kontrastieren (STL), einen neuen Verlust für zeitliche Kompression und räumliches Kontrastieren (TSL) sowie den globalen Kontrastverlust (GL) vor. Diese Verlustfunktionen dienen dazu, die räumlich komprimierten Gelenk- und Bewegungsmerkmale auf Frameebene, die zeitlich komprimierten Gelenk- und Bewegungsmerkmale auf Gelenkebene sowie die globalen Gelenk- und Bewegungsmerkmale auf Skelettniveau zu kontrastieren. Ausführliche experimentelle Ergebnisse auf vier öffentlichen Datensätzen zeigen, dass das vorgeschlagene SDS-CL in Bezug auf Leistungsgewinne gegenüber anderen wettbewerbsfähigen Methoden überlegen ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp