Gemeinsame Rekonstruktion von 3D-Menschen und Objekten durch kontaktbasierte Verfeinerung mit Transformer

Der Kontakt zwischen Mensch und Objekt dient als ein starker Hinweis zur Verständnis der physischen Interaktion von Menschen mit Objekten. Dennoch wird die Nutzung von Informationen über den Kontakt zwischen Mensch und Objekt für die gemeinsame Rekonstruktion von 3D-Menschen und -Objekten aus einem einzelnen Bild nicht weitgehend erforscht. In dieser Arbeit stellen wir eine neuartige Methode zur gemeinsamen 3D-Rekonstruktion von Mensch und Objekt (CONTHO) vor, die die Kontaktinformationen zwischen Mensch und Objekt effektiv nutzt. Unser System basiert auf zwei zentralen Konzepten: 1) 3D-gesteuerter Kontaktabschätzung und 2) kontaktbasierte 3D-Verfeinerung von Mensch und Objekt. Zunächst ermöglicht CONTHO durch die anfängliche Rekonstruktion von 3D-Menschen und -Objekten deren Verwendung als explizite 3D-Leitlinien für die Kontaktabschätzung, um einen genauen Kontakt zwischen Mensch und Objekt zu schätzen. Zweitens, um die anfänglichen Rekonstruktionen von 3D-Mensch und -Objekt zu verfeinern, schlagen wir einen neuartigen kontaktbasierten Verfeinerungs-Transformer vor, der menschliche Merkmale und objektbezogene Merkmale auf Grundlage des geschätzten Kontakts effektiv zusammenfasst. Die vorgeschlagene kontaktbasierte Verfeinerung verhindert das Lernen fehlerhafter Korrelationen zwischen Mensch und Objekt, was eine präzise 3D-Rekonstruktion ermöglicht. Als Ergebnis erreicht unser CONTHO Spitzenleistungen sowohl in der Schätzung des Kontakts zwischen Mensch und Objekt als auch in der gemeinsamen Rekonstruktion von 3D-Menschen und -Objekten. Der Quellcode ist öffentlich unter https://github.com/dqj5182/CONTHO_RELEASE verfügbar.