Pixel2Mesh: Generierung von 3D-Gittermodellen aus einzelnen RGB-Bildern

Wir schlagen eine end-to-end Tiefenlernarchitektur vor, die aus einem einzelnen Farbbild ein 3D-Objekt in Form eines dreieckigen Netzes (triangular mesh) erzeugt. Aufgrund der Natur von tiefen neuronalen Netzen stellen bisherige Methoden 3D-Objekte in der Regel als Volumen oder Punktwolke dar, und deren Umwandlung in das nutzbarere Netzmodell ist nicht trivial. Im Gegensatz zu diesen existierenden Ansätzen repräsentiert unser Netzwerk 3D-Netze in einem graphbasierten Faltungsneuralnetz und erzeugt korrekte Geometrie durch fortschreitende Deformation einer Ellipse, wobei es wahrnehmungsbasierte Merkmale aus dem Eingangsbild extrahiert. Wir verwenden eine grob-zu-feine Strategie, um den gesamten Deformationsprozess stabil zu gestalten, und definieren verschiedene Netzbezogene Verlustfunktionen, um Eigenschaften verschiedener Ebenen zu erfassen und so visuell ansprechende und physikalisch genaue 3D-Geometrie zu gewährleisten. Ausführliche Experimente zeigen, dass unsere Methode nicht nur qualitativ detailliertere Netzmodelle erzeugt, sondern auch eine höhere Genauigkeit bei der 3D-Formschätzung im Vergleich zum aktuellen Stand der Technik erreicht.