Die Nutzung der photometrischen Konsistenz über die Zeit für sparsam überwachte Hand-Objekt-Rekonstruktion

Das Modellieren von Hand-Objekt-Manipulationen ist entscheidend für das Verständnis, wie Menschen mit ihrer Umgebung interagieren. Obwohl es praktische Bedeutung hat, ist die Schätzung der Pose von Händen und Objekten während der Interaktion aufgrund der großen gegenseitigen Verdeckungen bei Manipulationen herausfordernd. Kürzliche Bemühungen haben sich auf vollständig überwachte Methoden konzentriert, die große Mengen an annotierten Trainingsdaten erfordern. Das Sammeln von 3D-Ground-Truth-Daten für Hand-Objekt-Interaktionen ist jedoch kostspielig, zeitaufwendig und fehleranfällig. Um dieser Herausforderung zu begegnen, präsentieren wir eine Methode, die die photometrische Konsistenz über die Zeit nutzt, wenn Annotationen nur für eine dünn besetzte Teilmenge von Frames in einem Video verfügbar sind. Unser Modell wird end-to-end auf Farbbildern trainiert, um Hände und Objekte in 3D zu rekonstruieren, indem ihre Pose geschätzt wird. Basierend auf unseren geschätzten Rekonstruktionen rendern wir differenzierbar den optischen Fluss zwischen benachbarten Bildpaaren und verwenden ihn innerhalb des Netzes, um einen Frame in den anderen zu transformieren. Anschließend wenden wir einen selbstüberwachten photometrischen Verlust an, der sich auf die visuelle Konsistenz zwischen nahegelegenen Bildern stützt. Wir erzielen Stand-of-the-Art-Ergebnisse bei Benchmarks zur 3D-Rekonstruktion von Hand-Objekt-Interaktionen und zeigen, dass unser Ansatz es uns ermöglicht, die Genauigkeit der Pose-Schätzung durch das Nutzen von Informationen aus benachbarten Frames in Datenarmen Szenarien zu verbessern.