DISN: Tiefes implizites Oberflächennetzwerk für hochwertige 3D-Rekonstruktion aus einer einzigen Ansicht

Die Rekonstruktion von 3D-Formen aus Einzelsichtbildern ist ein langjähriges Forschungsproblem. In dieser Arbeit stellen wir DISN (Deep Implicit Surface Network) vor, ein tiefes implizites Oberflächennetzwerk, das durch die Vorhersage der zugrundeliegenden signierten Distanzfelder eine hochwertige, detailreiche 3D-Gitterstruktur aus einem 2D-Bild generieren kann. Neben der Nutzung globaler Bildmerkmale prognostiziert DISN den projizierten Standort jedes 3D-Punkts auf dem 2D-Bild und extrahiert lokale Merkmale aus den Bildmerkmalskarten. Die Kombination von globalen und lokalen Merkmalen verbessert die Genauigkeit der Vorhersage der signierten Distanzfelder erheblich, insbesondere in detailreichen Bereichen. Nach bestem Wissen ist DISN die erste Methode, die stets Details wie Löcher und dünne Strukturen in 3D-Formen aus Einzelsichtbildern erfassen kann. DISN erreicht den aktuellen Stand der Technik bei der Einzelsichtrekonstruktion für eine Vielzahl von Formkategorien, sowohl aus synthetischen als auch aus realen Bildern. Der Quellcode ist unter https://github.com/xharlie/DISN verfügbar. Das Supplementärmaterial kann unter https://xharlie.github.io/images/neurips_2019_supp.pdf eingesehen werden.