Tiefe Netzwerkbasierte Rekonstruktion von 3D-Meshes aus einzelnen RGB-Bildern durch Topologie-Modifikationsnetze

Die Rekonstruktion des 3D-Gitters eines allgemeinen Objekts aus einem einzelnen Bild ist dank der neuesten Fortschritte in den Technologien des tiefen Lernens nun möglich. Aufgrund der nicht trivialen Schwierigkeit, eine zulässige Gitterstruktur zu generieren, vereinfachen die aktuellen Ansätze das Problem jedoch oft, indem sie die Verschiebungen eines Vorlagengitters lernen, das es deformiert, um die Zieloberfläche zu erreichen. Obwohl die Rekonstruktion einer 3D-Form mit komplexer Topologie durch Deformation mehrerer Gitterstücke erreicht werden kann, bleibt es schwierig, die Ergebnisse zusammenzufügen, um eine hohe Gitterqualität sicherzustellen. In dieser Arbeit präsentieren wir ein end-to-end-Framework zur Einbild-Gitterrekonstruktion, das in der Lage ist, hochwertige Gitter mit komplexen Topologien aus einem einzelnen genus-0-Vorlagengitter zu generieren. Der Schlüssel zu unserem Ansatz ist ein neuartiges progressives Formgestaltungsframework, das zwischen Gitterdeformation und Topologiemodifikation wechselt. Während ein Deformationsnetzwerk die pro Knoten vorhergesagten Translationen berechnet, die den Abstand zwischen dem rekonstruierten Gitter und dem Ground Truth minimieren, wird ein neuartiges Netzwerk zur Topologiemodifikation eingesetzt, um fehleranfällige Flächen abzuschneiden und so die Evolution der Topologie zu ermöglichen. Durch Wiederholung dieser beiden Prozeduren kann man schrittweise die Topologie des Gitters modifizieren und gleichzeitig eine höhere Rekonstruktionsgenauigkeit erzielen. Darüber hinaus wurde ein Randverfeinerungsnetzwerk entwickelt, um die Randbedingungen zu verfeinern und damit die visuelle Qualität des rekonstruierten Gitters weiter zu verbessern. Ausführliche Experimente zeigen, dass unser Ansatz sowohl qualitativ als auch quantitativ den aktuellen Stand der Technik übertrifft, insbesondere bei Formen mit komplexer Topologie.