Lernen geometrischer Transformationen für die Punktwolken-Vervollständigung

Die Punktwolken-Vervollständigung zielt darauf ab, die fehlende Geometrie aus einer partiellen Punktwolke zu schätzen. Bestehende generative Modelle auf Basis von Encoder-Decoder-Architekturen rekonstruieren in der Regel die vollständige Punktwolke aus der gelernten Verteilung des Formenprior, was aufgrund von Informationsverlusten in der latenten Raumdarstellung zu Verzerrungen geometrischer Details (wie scharfe Strukturen oder nicht glatte Oberflächen) führen kann. Um dieses Problem anzugehen, formulieren wir die Punktwolken-Vervollständigung als ein geometrisches Transformationsproblem und schlagen ein einfaches, aber effektives Netzwerk zur geometrischen Transformation (GTNet) vor. Es nutzt wiederkehrende geometrische Strukturen gemeinsamer 3D-Objekte, um die vollständigen Formen wiederherzustellen und besteht aus drei Teilnetzwerken: einem Geometrie-Patch-Netzwerk, einem Struktur-Transformations-Netzwerk und einem Detail-Verfeinerungs-Netzwerk. Insbesondere entdeckt das Geometrie-Patch-Netzwerk iterativ wiederkehrende geometrische Strukturen, die mit den fehlenden Bereichen verwandt oder ähnlich sind. Anschließend verwendet das Struktur-Transformations-Netzwerk die entdeckten geometrischen Strukturen, um die entsprechenden fehlenden Teile durch Lernen ihrer räumlichen Transformationen – wie Symmetrie, Drehung, Translation und gleichmäßige Skalierung – zu vervollständigen. Schließlich führt das Detail-Verfeinerungs-Netzwerk eine globale Optimierung durch, um unrealistische Strukturen zu beseitigen. Umfangreiche Experimente zeigen, dass die vorgeschlagene Methode die State-of-the-Art-Methoden auf den Datensätzen ShapeNet55-34, MVP, PCN und KITTI übertrifft. Die Modelle und der Quellcode werden unter https://github.com/ivislabhit/GTNet verfügbar sein.