HyperAIHyperAI

Command Palette

Search for a command to run...

SMPLer-X: Skalierung der expressiven menschlichen Pose- und Formschätzung

Zusammenfassung

Expressive Human Pose und Shape Estimation (EHPS) vereint die Bewegungserfassung von Körper, Händen und Gesicht mit zahlreichen Anwendungen. Trotz ermutigender Fortschritte hängen aktuelle Methoden der Spitzenklasse immer noch weitgehend von einem begrenzten Satz an Trainingsdatensätzen ab. In dieser Arbeit untersuchen wir die Skalierung von EHPS hin zu einem ersten allgemeinen Grundmodell (benannt SMPLer-X), das bis zu ViT-Huge als Backbone verwendet und mit bis zu 4,5 Millionen Instanzen aus diversen Datenquellen trainiert wird. Mit großen Datenmengen und dem großen Modell zeigt SMPLer-X eine starke Leistung über verschiedene Testbenchmarks hinweg und eine ausgezeichnete Übertragbarkeit sogar auf unbekannte Umgebungen.1) Für die Datenskalierung führen wir eine systematische Untersuchung an 32 EHPS-Datensätzen durch, die ein breites Spektrum von Szenarien umfassen, die ein Modell, das auf einem einzelnen Datensatz trainiert wurde, nicht bewältigen kann. Noch wichtiger ist, dass wir aufgrund der Erkenntnisse aus dem umfangreichen Benchmarking-Prozess unser Trainingsverfahren optimieren und Datensätze auswählen, die zu einem signifikanten Sprung in den Fähigkeiten des EHPS führen.2) Für die Modellskalierung nutzen wir Vision Transformers, um das Skalierungsverhalten der Modellgrößen in EHPS zu untersuchen. Darüber hinaus ermöglicht unsere Feinjustierungsstrategie es SMPLer-X, zu spezialisierten Modellen zu werden, wodurch sie weitere Leistungssteigerungen erzielen können. Bemerkenswerterweise liefert unser Grundmodell SMPLer-X konsistent state-of-the-art-Ergebnisse auf sieben Benchmarks wie AGORA (107,2 mm NMVE), UBody (57,4 mm PVE), EgoBody (63,6 mm PVE) und EHF (62,3 mm PVE ohne Feinjustierung).Homepage: https://caizhongang.github.io/projects/SMPLer-X/


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp