HyperAIHyperAI

Command Palette

Search for a command to run...

PoseAug: Ein differenzierbares Pose-Augmentationsframework für die 3D-Mensch-Pose-Schätzung

Kehong Gong Jianfeng Zhang Jiashi Feng

Zusammenfassung

Bestehende 3D-Pose-Schätzer leiden unter einer schlechten Generalisierung auf neue Datensätze, was hauptsächlich auf die begrenzte Vielfalt von 2D-3D-Pose-Paaren in den Trainingsdaten zurückzuführen ist. Um dieses Problem zu lösen, stellen wir PoseAug vor, einen neuen Auto-Augmentierungsrahmen, der lernt, die verfügbaren Trainingsposes zu erweitern und so die Generalisierungsfähigkeit des trainierten 2D-zu-3D-Pose-Schätzers zu verbessern. Insbesondere führt PoseAug einen neuartigen Pose-Augmentierer ein, der durch differenzierbare Operationen lernt, verschiedene geometrische Faktoren (z.B. Haltung, Körpersize, Blickwinkel und Position) einer Pose anzupassen. Mit dieser differenzierbaren Kapazität kann der Augmentierer gemeinsam mit dem 3D-Pose-Schätzer optimiert werden und nimmt den Schätzfehler als Rückmeldung zur Erzeugung vielfältiger und schwieriger Poses in Echtzeit. Darüber hinaus führt PoseAug einen neuartigen part-bewussten Kinematischen Kettenraum (Part-aware Kinematic Chain Space) ein, um die Plausibilität lokaler Gelenkwinkel zu bewerten, und entwickelt entsprechend ein diskriminatives Modul, um die Plausibilität der augmentierten Poses sicherzustellen. Diese sorgfältig konzipierten Designs ermöglichen es PoseAug, vergleichsweise mehrere vielfältige aber plausible Poses als existierende Offline-Augmentationsmethoden zu generieren und somit eine bessere Generalisierung des Pose-Schätzers zu erzielen. PoseAug ist generisch und leicht anwendbar auf verschiedene 3D-Pose-Schätzer. Ausführliche Experimente zeigen, dass PoseAug klare Verbesserungen sowohl bei intra-szenarien- als auch bei cross-szenarien-Datensätzen bringt. Bemerkenswerterweise erreicht es eine 3D PCK von 88,6 % auf MPI-INF-3DHP bei einem cross-datenbasierten Evaluationsaufbau, was eine Verbesserung von 9,1 % gegenüber der bisher besten datenbasierten Augmentationsmethode darstellt. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/jfzhang95/PoseAug.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
PoseAug: Ein differenzierbares Pose-Augmentationsframework für die 3D-Mensch-Pose-Schätzung | Paper | HyperAI