CHORE: Kontakt-, Mensch- und Objektrekonstruktion aus einem einzigen RGB-Bild

Die meisten vorherigen Ansätze zur 3D-Wahrnehmung von Menschen aus Bildern betrachten den Menschen isoliert, ohne dessen Umgebung zu berücksichtigen. Tatsächlich interagieren Menschen jedoch ständig mit umgebenden Objekten, was Modelle erfordert, die nicht nur den Menschen, sondern auch die Objekte sowie deren Wechselwirkungen verstehen können. Das Problem ist äußerst herausfordernd aufgrund starker Verdeckungen zwischen Mensch und Objekt, vielfältiger Interaktionstypen und der Tiefenambiguität. In diesem Paper stellen wir CHORE vor – eine neuartige Methode, die lernt, Mensch und Objekt gemeinsam aus einem einzigen RGB-Bild zu rekonstruieren. CHORE lässt sich inspirieren von jüngsten Fortschritten im Bereich der impliziten Oberflächenlernverfahren sowie klassischen modellbasierten Anpassungstechniken. Wir berechnen eine neuronale Rekonstruktion des Menschen und des Objekts, die implizit durch zwei unvorzeichenbehaftete Distanzfelder repräsentiert wird, ergänzt um ein Korrespondenzfeld zu einem parametrischen Körpermodell und ein Objektpose-Feld. Dadurch können wir robust ein parametrisches Körpermodell und eine 3D-Objektvorlage anpassen, während gleichzeitig Interaktionen berücksichtigt werden. Zudem basieren herkömmliche, pixelbasierte implizite Lernansätze auf synthetischen Daten und machen Annahmen, die in echten Daten nicht erfüllt sind. Wir schlagen eine elegante, tiefenbewusste Skalierung vor, die eine effizientere Formenlernung auf echten Daten ermöglicht. Experimente zeigen, dass unsere gemeinsame Rekonstruktion, die mit dem vorgeschlagenen Ansatz gelernt wurde, die State-of-the-Art-Leistung deutlich übertrifft. Der Quellcode und die Modelle sind unter https://virtualhumans.mpi-inf.mpg.de/chore verfügbar.