Ein Punktmenge-Generierungsnetzwerk für die 3D-Rekonstruktion von Objekten aus einem einzelnen Bild

Die Erzeugung von 3D-Daten durch tief neuronale Netze zieht zunehmend die Aufmerksamkeit der Forschergemeinschaft auf sich. Die meisten bisherigen Arbeiten greifen auf reguläre Darstellungen wie volumetrische Gitter oder Sammlungen von Bildern zurück; jedoch verbergen diese Darstellungen die natürliche Invarianz von 3D-Formen unter geometrischen Transformationen und leiden auch an einer Reihe weiterer Probleme. In dieser Arbeit adressieren wir das Problem der 3D-Rekonstruktion aus einem einzelnen Bild, indem wir eine direkte Form des Outputs erzeugen – Koordinaten von Punktwolken. Zusammen mit diesem Problem entsteht eine einzigartige und interessante Fragestellung, nämlich dass die Grundwahrheit (groundtruth) für ein Eingangsbild möglicherweise mehrdeutig sein kann. Angesichts dieser unkonventionellen Ausgabeform und der inhärenten Mehrdeutigkeit in der Grundwahrheit haben wir eine Architektur, eine Verlustfunktion und ein Lernparadigma entwickelt, die sowohl neu als auch effektiv sind. Unsere endgültige Lösung ist ein bedingter Formensampler, der in der Lage ist, mehrere plausible 3D-Punktwolken aus einem Eingangsbild vorherzusagen. In Experimenten übertrifft unser System nicht nur den Stand der Technik bei Benchmarks zur 3D-Rekonstruktion aus einzelnen Bildern; es zeigt auch eine starke Leistung bei der Vervollständigung von 3D-Formen und vielversprechende Fähigkeiten in der Erstellung mehrerer plausibler Vorhersagen.