HyperAIHyperAI

Command Palette

Search for a command to run...

CHORE: Kontakt-, Mensch- und Objektrekonstruktion aus einem einzigen RGB-Bild

Xianghui Xie Bharat Lal Bhatnagar Gerard Pons-Moll

Zusammenfassung

Die meisten vorherigen Ansätze zur 3D-Wahrnehmung von Menschen aus Bildern betrachten den Menschen isoliert, ohne dessen Umgebung zu berücksichtigen. Tatsächlich interagieren Menschen jedoch ständig mit umgebenden Objekten, was Modelle erfordert, die nicht nur den Menschen, sondern auch die Objekte sowie deren Wechselwirkungen verstehen können. Das Problem ist äußerst herausfordernd aufgrund starker Verdeckungen zwischen Mensch und Objekt, vielfältiger Interaktionstypen und der Tiefenambiguität. In diesem Paper stellen wir CHORE vor – eine neuartige Methode, die lernt, Mensch und Objekt gemeinsam aus einem einzigen RGB-Bild zu rekonstruieren. CHORE lässt sich inspirieren von jüngsten Fortschritten im Bereich der impliziten Oberflächenlernverfahren sowie klassischen modellbasierten Anpassungstechniken. Wir berechnen eine neuronale Rekonstruktion des Menschen und des Objekts, die implizit durch zwei unvorzeichenbehaftete Distanzfelder repräsentiert wird, ergänzt um ein Korrespondenzfeld zu einem parametrischen Körpermodell und ein Objektpose-Feld. Dadurch können wir robust ein parametrisches Körpermodell und eine 3D-Objektvorlage anpassen, während gleichzeitig Interaktionen berücksichtigt werden. Zudem basieren herkömmliche, pixelbasierte implizite Lernansätze auf synthetischen Daten und machen Annahmen, die in echten Daten nicht erfüllt sind. Wir schlagen eine elegante, tiefenbewusste Skalierung vor, die eine effizientere Formenlernung auf echten Daten ermöglicht. Experimente zeigen, dass unsere gemeinsame Rekonstruktion, die mit dem vorgeschlagenen Ansatz gelernt wurde, die State-of-the-Art-Leistung deutlich übertrifft. Der Quellcode und die Modelle sind unter https://virtualhumans.mpi-inf.mpg.de/chore verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp