InfoGCN: Repräsentationslernen für aktionsbasierte Erkennung am Menschen-Skelett

Die aktionserkennung basierend auf menschlichen Skeletten bietet eine wertvolle Methode zur Erfassung der Komplexität menschlichen Verhaltens, da sie die komplexen Beziehungen zwischen physischen Einschränkungen und Absichten berücksichtigen kann. Obwohl mehrere Studien sich auf die Kodierung von Skelettdaten konzentriert haben, wurde bisher weniger Aufmerksamkeit darauf verwendet, diese Informationen in die latente Darstellung menschlicher Aktionen einzubetten. InfoGCN stellt einen Lernframework für die Aktionserkennung vor, der eine neuartige Lernzielsetzung und eine effektive Kodierungsstrategie kombiniert. Zunächst entwickeln wir ein informationsbottleneck-basiertes Lernziel, das das Modell anleitet, informativ aber kompakte latente Darstellungen zu erlernen. Um klassifikationsrelevante Informationen bereitzustellen, führen wir einen auf Aufmerksamkeit basierenden Graphen-Convolution-Operator ein, der die kontextabhängige innere Topologie menschlicher Aktionen erfasst. Zudem präsentieren wir eine multimodale Darstellung des Skeletts, die auf den relativen Positionen der Gelenke basiert und ergänzende räumliche Informationen für die Gelenke liefert. InfoGCN erreicht auf mehreren Benchmarks zur skelettbasierten Aktionserkennung die bisher beste Leistung: 93,0 % Genauigkeit auf dem NTU RGB+D 60 Cross-Subject-Teil, 89,8 % auf dem NTU RGB+D 120 Cross-Subject-Teil und 97,0 % auf NW-UCLA.