Aufdecken entscheidender Details zur Unterscheidung: Eine neue prototypische Perspektive für aktionsbasierte Anerkennung auf Basis von Skeletten

Bei der handgestützten Aktionserkennung stellt eine zentrale Herausforderung die Unterscheidung zwischen Aktionen mit ähnlichen Gelenkbewegungstrajektorien dar, da skelettbasierte Darstellungen auf fehlende bildbasierte Details zurückgreifen. Angesichts der Tatsache, dass die Differenzierung ähnlicher Aktionen auf subtilen Bewegungsdetails bestimmter Körperteile beruht, richten wir unseren Ansatz auf die feinabgestimmte Analyse der lokalen Bewegungsdynamik von Skelett-Teilkomponenten. Dazu führen wir ProtoGCN ein, ein auf Graph-Convolutional-Networks (GCN) basierendes Modell, das die Dynamik ganzer Skelettsequenzen in eine Kombination lernbarer Prototypen zerlegt, die zentrale Bewegungsmuster von Aktions-Einheiten repräsentieren. Durch den Vergleich der Rekonstruktion dieser Prototypen kann ProtoGCN die differenzierende Repräsentation ähnlicher Aktionen effektiv identifizieren und verstärken. Ohne aufwendige Zusatzkomponenten erreicht ProtoGCN state-of-the-art Ergebnisse auf mehreren Standard-Datensätzen, darunter NTU RGB+D, NTU RGB+D 120, Kinetics-Skeleton und FineGYM, was die Wirksamkeit des vorgeschlagenen Ansatzes unterstreicht. Der Quellcode ist unter https://github.com/firework8/ProtoGCN verfügbar.