DSFFNet: Netzwerk zur Fusion von Merkmalen auf beiden Seiten für die 3D-Pose-Übertragung

Um das Problem der Poseverzerrung bei der Vorwärtspropagation von Posemerkmale in bestehenden Methoden zu lösen, schlägt dieser Artikel ein Dual-Side Feature Fusion Network für Poseübertragung (DSFFNet) vor. Zunächst wird ein fester Posencode aus dem Quellgitter durch einen Poseencoder extrahiert und mit den Zielpunkten kombiniert, um ein gemischtes Merkmal zu bilden. Anschließend wird ein Feature Fusion Adaptive Instance Normalization Modul (FFAdaIN) entwickelt, das sowohl Posemerkmale als auch Identitätsmerkmale gleichzeitig verarbeiten kann, sodass die Posemerkmale Schicht für Schicht während der Vorwärtspropagation kompensiert werden können und das Problem der Poseverzerrung gelöst wird. Schließlich werden die Posen unter Verwendung des aus diesem Modul zusammengesetzten Gitterdecoders allmählich auf das Zielgitter übertragen. Experimentelle Ergebnisse auf den Datensätzen SMPL, SMAL, FAUST und MultiGarment zeigen, dass DSFFNet das Problem der Poseverzerrung erfolgreich löst, während es eine kleinere Netzstruktur mit stärkerer Poseübertragungsfähigkeit und schnellerer Konvergenzgeschwindigkeit beibehält und sich an Gitter mit unterschiedlichen Anzahlen von Punkten anpassen kann. Der Code ist unter https://github.com/YikiDragon/DSFFNet verfügbar.