HyperAIHyperAI

Command Palette

Search for a command to run...

LASOR: Lernen genauer 3D-Mensch-Pose und -Form durch synthetische Occlusion-aware Daten und neuronale Mesh-Rendering

Kaibing Yang Renshu Gu Maoyu Wang Masahiro Toyoura Gang Xu

Zusammenfassung

Eine wesentliche Herausforderung bei der Schätzung von menschlicher Pose und Form ist die Verdeckung, einschließlich Selbstverdeckungen, Objekt-Mensch-Verdeckungen und Interpersoneller Verdeckungen. Der Mangel an vielfältigen und genauen Trainingsdaten für Pose und Form wird besonders zu einer großen Engstelle, wenn es um Szenen mit Verdeckungen im freien Feld geht. In dieser Arbeit konzentrieren wir uns auf die Schätzung von menschlicher Pose und Form im Falle von Interpersonellen Verdeckungen, wobei wir gleichzeitig auch Objekt-Mensch-Verdeckungen und Selbstverdeckungen behandeln. Wir schlagen einen neuen Ansatz vor, der verdeckungsbewusste Silhouetten- und 2D-Schlüsselpunktdaten synthetisiert und direkt auf die SMPL-Pose- und Formparameter regressiert. Ein neuronales 3D-Gitterrenderer wird eingesetzt, um Silhouettenüberwachung in Echtzeit zu ermöglichen, was zu erheblichen Verbesserungen bei der Formschätzung beiträgt. Darüber hinaus werden Schlüsselpunkte-und-Silhouette-getriebene Trainingsdaten in panoramischen Blickrichtungen synthetisiert, um den Mangel an Vielfalt der Blickrichtungen in bestehenden Datensätzen auszugleichen. Experimentelle Ergebnisse zeigen, dass wir im Bereich der Pose-Schätzgenauigkeit zu den besten Arbeiten auf den Datensätzen 3DPW und 3DPW-Crowd gehören. Die vorgeschlagene Methode übertrifft offensichtlich Mesh Transformer, 3DCrowdNet und ROMP hinsichtlich der Formschätzgenauigkeit. Auch bei der Vorhersagegenauigkeit der Form auf SSP-3D wurde Spitzenleistung erzielt. Eine Demonstration sowie der Code werden unter https://igame-lab.github.io/LASOR/ zur Verfügung gestellt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
LASOR: Lernen genauer 3D-Mensch-Pose und -Form durch synthetische Occlusion-aware Daten und neuronale Mesh-Rendering | Paper | HyperAI