HyperAIHyperAI

Command Palette

Search for a command to run...

3D-Szenen durch das Lernen von Mensch-Szene-Interaktion bevölkern

S. A. Lefèvre A. G. Schwing M. P. J. Viergever T. Brox

Zusammenfassung

Menschen leben in einem dreidimensionalen Raum und interagieren ständig mit ihm, um Aufgaben auszuführen. Diese Interaktionen beinhalten semantisch bedeutsame physische Berührungen zwischen Oberflächen. Unser Ziel ist es, zu lernen, wie Menschen mit Szenen interagieren, und dies zu nutzen, um virtuelle Charaktere die gleiche Fähigkeit zu verleihen. Dazu stellen wir ein neues Modell für die Interaktion von Mensch und Szene (HSI) vor, das proximale Beziehungen kodiert und als POSA (für "Pose with prOximitieS and contActs") bezeichnet wird. Die Darstellung der Interaktion ist körperzentriert, was es ermöglicht, auf neue Szenen zu generalisieren. Insbesondere erweitert POSA das parametrische menschliche Körpermodell SMPL-X so, dass für jeden Netzwerksknoten (a) die Wahrscheinlichkeit des Kontakts mit der Szeneoberfläche und (b) das entsprechende semantische Szenenlabel kodiert werden. Wir lernen POSA mit einem VAE (Variational Autoencoder), das auf den SMPL-X-Knoten konditioniert ist, und trainieren es anhand des PROX-Datensatzes, der SMPL-X-Netze von Personen enthält, die mit 3D-Szenen interagieren, sowie den entsprechenden Szenensemantiken aus dem PROX-E-Datensatz. Wir demonstrieren den Wert von POSA anhand zweier Anwendungen. Erstens platzieren wir automatisch 3D-Scans von Personen in Szenen. Hierbei verwenden wir ein an den Scan angepasstes SMPL-X-Modell als Proxy und suchen dann dessen wahrscheinlichste Position im 3D-Raum. POSA bietet eine effektive Darstellung zur Suche nach "Affordances" in der Szene, die den wahrscheinlichen Kontaktbeziehungen dieser Haltung entsprechen. Eine perzeptuelle Studie zeigt erhebliche Verbesserungen im Vergleich zum Stand der Technik bei dieser Aufgabe. Zweitens zeigen wir, dass die gelernte Darstellung der Körperszene-Interaktion durch POSA eine monokulare Schätzung der menschlichen Haltung unterstützt, die konsistent mit einer 3D-Szene ist und sich ebenfalls am Stand der Technik verbessert. Unser Modell und Code sind für Forschungszwecke unter https://posa.is.tue.mpg.de verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
3D-Szenen durch das Lernen von Mensch-Szene-Interaktion bevölkern | Paper | HyperAI