Die Wahrnehmung von 3D-Raumbeziehungen zwischen Menschen und Objekten aus einem einzelnen Bild im Freien

Wir präsentieren eine Methode, die räumliche Anordnungen und Formen von Menschen und Objekten in einer global konsistenten 3D-Szene aus einem einzelnen Bild im Freien, das in einer unkontrollierten Umgebung aufgenommen wurde, inferiert. Bemerkenswerterweise funktioniert unsere Methode auf Datensätzen ohne jegliche 3D-Überwachung auf Szenen- oder Objektebene. Unser zentrales Erkenntnis ist, dass die gemeinsame Betrachtung von Menschen und Objekten zu "3D-Gemeinsinn" (3D common sense) Einschränkungen führt, die zur Auflösung von Ambiguitäten genutzt werden können. Insbesondere führen wir einen Skalierungsverlust ein, der die Verteilung der Objektgröße aus den Daten lernt; einen Schattenwurfverlust mit Berücksichtigung von Verdeckungen (occlusion-aware silhouette re-projection loss), um die Pose der Objekte zu optimieren; sowie einen Interaktionsverlust zwischen Mensch und Objekt, um die räumliche Anordnung der Objekte, mit denen Menschen interagieren, zu erfassen. Wir validieren empirisch, dass unsere Einschränkungen den Raum der wahrscheinlichen 3D-räumlichen Konfigurationen erheblich reduzieren. Wir demonstrieren unseren Ansatz an herausfordernden Bildern im Freien von Menschen, die mit großen Objekten (wie Fahrrädern, Motorrädern und Surfbrettern) und handgehaltenen Objekten (wie Laptops, Tennisracketts und Skateboards) interagieren. Wir quantifizieren die Fähigkeit unseres Ansatzes, mensch-objektbezogene Anordnungen wiederherzustellen, und skizzieren die verbleibenden Herausforderungen in diesem relativ neuen Bereich. Die Projektwebseite kann unter https://jasonyzhang.com/phosa gefunden werden.