Pix3D: Datensatz und Methoden für die 3D-Formmodellierung aus einer einzelnen Bildquelle

Wir untersuchen das 3D-Formmodellieren aus einem einzelnen Bild und leisten dazu Beiträge in drei Aspekten. Erstens präsentieren wir Pix3D, eine umfangreiche Benchmark-Datenbank mit diversen Bild-Form-Paaren und Pixel-Level-2D-3D-Ausrichtung. Pix3D hat vielfältige Anwendungen in formbezogenen Aufgaben, darunter Rekonstruktion, Retrieval und Blickwinkel-Schätzung. Die Erstellung einer solchen großen Datenbank ist jedoch äußerst herausfordernd; bestehende Datensätze enthalten entweder nur synthetische Daten, oder sie fehlen eine genaue Ausrichtung zwischen 2D-Bildern und 3D-Formen, oder sie verfügen nur über eine geringe Anzahl von Bildern. Zweitens kalibrieren wir die Bewertungskriterien für die 3D-Formrekonstruktion durch Verhaltensstudien und verwenden diese Kriterien, um fortschrittliche Rekonstruktionsalgorithmen auf Pix3D objektiv und systematisch zu bewerten. Drittens entwickeln wir ein neues Modell, das gleichzeitig 3D-Rekonstruktion und Pose-Schätzung durchführt; unser Ansatz des Multi-Task-Learnings erzielt den aktuellen Stand der Technik in beiden Aufgaben.