Matryoshka-Netzwerke: Vorhersage der 3D-Geometrie durch geschachtelte Formschichten

In dieser Arbeit entwickeln wir neuartige, effiziente 2D-Kodierungen für 3D-Geometrie, die es ermöglichen, vollständige 3D-Formen aus einem einzelnen Bild in hoher Auflösung zu rekonstruieren. Das Kernkonzept besteht darin, die Rekonstruktion von 3D-Formen als ein Problem der 2D-Vorhersage zu formulieren. Zu diesem Zweck entwickeln wir zunächst ein einfaches Baseline-Netzwerk, das bei jedem Pixel einer Referenzansicht komplette Voxelröhren vorhersagt. Durch die Nutzung bewährter Architekturen für 2D-Pixelvorhersageaufgaben erzielen wir Stand-of-the-Art-Ergebnisse und übertreffen klar rein voxelbasierte Ansätze. Wir skalieren dieses Baseline-Netzwerk auf höhere Auflösungen, indem wir eine speichereffiziente Formenkodierung vorschlagen, die eine 3D-Form rekursiv in geschachtelte Formenschichten zerlegt, ähnlich wie die Teile einer Matrjoschka-Puppe (Matryoshka doll). Dies ermöglicht es, hochdetaillierte Formen mit komplexer Topologie zu rekonstruieren, wie umfangreiche Experimente zeigen; trotz einer viel einfacheren Architektur mit Standardnetzkomponenten übertreffen wir deutlich frühere oktreebasierte Ansätze (octree-based approaches). Unsere Matrjoschka-Netzwerke ermöglichen zudem die Rekonstruktion von Formen anhand von IDs oder Formähnlichkeit sowie das Erzeugen von Formproben (shape sampling).