Monokulare Echtzeit-Überwachung des gesamten Körpers mit Inter-Teil-Korrelationen

Wir präsentieren die erste Methode zur Echtzeit-Erfassung des gesamten Körpers, die sowohl Form als auch Bewegung von Körper und Händen gemeinsam mit einem dynamischen 3D-Gesichtsmodell aus einem einzigen Farbbild schätzt. Unser Ansatz nutzt eine neuartige neuronalen Netzarchitektur, die Korrelationen zwischen Körper und Händen mit hoher rechnerischer Effizienz ausnutzt. Im Gegensatz zu früheren Arbeiten wird unser Verfahren gemeinsam auf mehreren Datensätzen trainiert, die jeweils einzeln auf Hände, Körper oder Gesicht fokussieren, ohne dass Daten erforderlich sind, in denen alle Teile gleichzeitig annotiert sind – eine Anforderung, die aufgrund der notwendigen Vielfalt äußerst schwierig zu erfüllen ist. Die Möglichkeit eines solchen Trainings über mehrere Datensätze ermöglicht eine überlegene Verallgemeinerungsfähigkeit. Im Gegensatz zu früheren monokularen Methoden zur Gesamtkörpererfassung erfasst unser Ansatz durch die Schätzung von Form, Ausdruck, Albedo und Beleuchtungsparametern eines statistischen Gesichtsmodells eine ausdrucksstarkere 3D-Gesichtsgeometrie und Farbe. Unsere Methode erreicht wettbewerbsfähige Genauigkeit auf öffentlichen Benchmarks, ist dabei jedoch deutlich schneller und liefert vollständigere Gesichtsrekonstruktionen.