Regulärer Splitting-Graph-Netzwerk für die 3D-Menschenpose-Schätzung

Bei menschlichen Pose-Schätzungsmethoden, die auf graphenkonvolutionellen Architekturen basieren, wird der menschliche Skelett normalerweise als ungerichteter Graph modelliert, wobei die Knoten die Körpergelenke und die Kanten die Verbindungen zwischen benachbarten Gelenken darstellen. Allerdings konzentrieren sich die meisten dieser Methoden hauptsächlich auf die Lernung der Beziehungen zwischen den Gelenken des Skeletts unter Verwendung erster Nachbarn und ignorieren dabei höherordentliche Nachbarn, wodurch ihre Fähigkeit eingeschränkt wird, Beziehungen zwischen entfernten Gelenken auszunutzen. In diesem Artikel stellen wir ein höherordentliches reguläres Spaltungs-Graph-Netzwerk (RS-Net) für die 2D-zu-3D-Mensch-Pose-Schätzung vor, das Matrix-Spaltung in Verbindung mit Gewichts- und Adjazenzmodulation nutzt. Der zentrale Ansatz besteht darin, langstreckige Abhängigkeiten zwischen Körpergelenken mithilfe von Multi-Hop-Nachbarschaften zu erfassen und zudem unterschiedliche Modulationsvektoren für verschiedene Körpergelenke sowie eine Modulationsmatrix zu lernen, die der Adjazenzmatrix des Skeletts hinzugefügt wird. Diese lernbare Modulationsmatrix unterstützt die Anpassung der Graph-Struktur, indem zusätzliche Kanten hinzugefügt werden, um weitere Verbindungen zwischen den Gelenken zu erlernen. Anstelle einer gemeinsamen Gewichtsmatrix für alle benachbarten Gelenke wendet das vorgeschlagene RS-Net-Modell Gewichts-Entkopplung vor der Aggregation der Merkmalsvektoren der Gelenke an, um die unterschiedlichen Beziehungen zwischen ihnen präziser zu erfassen. Experimente und Ablationsstudien an zwei Standard-Datensätzen belegen die Wirksamkeit unseres Modells und zeigen, dass es gegenüber jüngsten state-of-the-art-Methoden für die 3D-Menschen-Pose-Schätzung überlegene Leistung erzielt.