HyperAIHyperAI

Command Palette

Search for a command to run...

PoseTriplet: Selbstüberwachtes Ko-Evolvieren der 3D-Ganzkörperpose-Schätzung, Nachahmung und Halluzination

Kehong Gong Bingbing Li Jianfeng Zhang Tao Wang Jing Huang Michael Bi Mi Jiashi Feng Xinchao Wang

Zusammenfassung

Bisherige selbstüberwachte Ansätze zur 3D-Menschenpose-Schätzung basieren weitgehend auf schwachen Supervisionsmechanismen wie Konsistenzverlust, was unvermeidlich zu suboptimalen Ergebnissen in realen Szenarien mit unbekannten, bisher nicht gesehenen Pose-Abbildungen führt. In diesem Artikel präsentieren wir einen neuartigen selbstüberwachten Ansatz, der es ermöglicht, explizit 2D-3D-Pose-Paare zur Erweiterung der Supervision zu generieren, durch einen selbstverbessernden dualen Schleifen-Lernrahmen. Dies wird erreicht durch die Einführung eines auf Verstärkungslernen basierenden Nachahmers, der gemeinsam mit einem Pose-Schätzer und einem Pose-Halluzinator trainiert wird; die drei Komponenten bilden während des Trainingsprozesses zwei sich ergänzende und verstärkende Schleifen. Konkret transformiert der Pose-Schätzer eine Eingabepose-Sequenz in 2D in eine geringe Detailgenauigkeit liegende 3D-Ausgabe, die anschließend vom Nachahmer verbessert wird, wobei physikalische Einschränkungen enforced werden. Die verfeinerten 3D-Posen werden dann dem Halluzinator zugeführt, um noch vielfältigere Daten zu generieren, die wiederum vom Nachahmer verstärkt werden und zur weiteren Ausbildung des Pose-Schätzers genutzt werden. Dieses Ko-Evolutionsschema ermöglicht es in der Praxis, einen Pose-Schätzer auf selbstgenerierten Bewegungsdaten zu trainieren, ohne auf gegebene 3D-Daten angewiesen zu sein. Umfangreiche Experimente an verschiedenen Benchmarks zeigen, dass unser Ansatz ermutigende Ergebnisse liefert, die die derzeitigen State-of-the-Art-Methoden deutlich übertreffen und in einigen Fällen sogar mit vollständig überwachten Methoden vergleichbar sind. Insbesondere erreicht unser Ansatz bei selbstüberwachten Kreuz-Datensatz-Evaluierungen auf MPI-INF-3DHP eine 3D-PCK von 89,1 %, was eine Verbesserung gegenüber den bisher besten selbstüberwachten Methoden um 8,6 % darstellt. Der Quellcode ist verfügbar unter: https://github.com/Garfield-kh/PoseTriplet


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
PoseTriplet: Selbstüberwachtes Ko-Evolvieren der 3D-Ganzkörperpose-Schätzung, Nachahmung und Halluzination | Paper | HyperAI