DG-STGCN: Dynamische räumlich-zeitliche Modellierung für aktionsbasierte Erkennung auf Basis von Skeletten

Graphen-Convolutional-Netze (GCN) werden weit verbreitet in der aktionsbasierten Erkennung auf der Grundlage von Skelettdaten eingesetzt. Wir stellen fest, dass bestehende GCN-basierte Ansätze hauptsächlich auf vorgegebenen graphischen Strukturen beruhen (d. h. einer manuell definierten Topologie der Skelettgelenke), was ihre Flexibilität zur Erfassung komplexer Korrelationen zwischen Gelenken einschränkt. Um diese Beschränkung zu überwinden, schlagen wir einen neuen Ansatz für die aktionsbasierte Erkennung auf der Grundlage von Skelettdaten vor, namens Dynamic Group Spatio-Temporal GCN (DG-STGCN). Der Ansatz besteht aus zwei Modulen, DG-GCN und DG-TCN, die jeweils für die räumliche und zeitliche Modellierung zuständig sind. Insbesondere verwendet DG-GCN lernbare Affinitätsmatrizen, um dynamische graphische Strukturen zu erfassen, anstatt auf eine vorgegebene Struktur zurückzugreifen, während DG-TCN gruppenweise zeitliche Faltungen mit variablen Empfindlichkeitsfeldern durchführt und ein dynamisches Gelenk-Skelett-Fusionsmodul integriert, um eine adaptive mehrstufige zeitliche Modellierung zu ermöglichen. Auf einer Vielzahl von Benchmarks, darunter NTURGB+D, Kinetics-Skeleton, BABEL und Toyota SmartHome, übertrifft DG-STGCN konsistent die derzeit besten Methoden, oft mit einer bemerkenswerten Lücke.