PMP-Net++: Point Cloud Completion durch Transformer-verbesserte Multi-Step Point Moving Paths

Die Point Cloud Completion befasst sich mit der Vorhersage fehlender Teile bei unvollständigen 3D-Formen. Eine gängige Strategie besteht darin, eine vollständige Form auf Basis einer unvollständigen Eingabe zu generieren. Allerdings verschlechtert die ungeordnete Natur von Punktwolken die Generierung hochwertiger 3D-Formen, da die detaillierte Topologie und Struktur der ungeordneten Punkte während des Generierungsprozesses unter Verwendung eines extrahierten Latent-Codes schwer zu erfassen sind. Wir adressieren dieses Problem, indem wir die Completion als einen Punktwolken-Deformationsprozess formulieren. Konkret entwerfen wir ein neuartiges neuronales Netzwerk namens PMP-Net++, das das Verhalten eines Erdverschiebers nachahmt. Es verschiebt jeden Punkt der unvollständigen Eingabe, um eine vollständige Punktwolke zu erzeugen, wobei die Gesamtlänge der Verschiebepfade (PMPs, Point Moving Paths) minimal sein sollte. Daher prognostiziert PMP-Net++ für jeden Punkt eine eindeutige PMP unter Berücksichtigung der Einschränkungen der Verschiebungswege. Das Netzwerk lernt eine strenge und eindeutige Korrespondenz auf Punktebene, wodurch die Qualität der vorhergesagten vollständigen Form verbessert wird. Darüber hinaus beruht die Verschiebung der Punkte stark auf den von dem Netzwerk gelernten pro-Punkt-Features; daher führen wir zusätzlich ein transformer-verbessertes Repräsentationslernnetzwerk ein, das die Completion-Leistung von PMP-Net++ erheblich steigert. Wir führen umfassende Experimente zur Form-Completion durch und untersuchen zudem die Anwendung auf die Punktwolken-Vergrößerung (up-sampling), wodurch sich signifikante Verbesserungen von PMP-Net++ gegenüber aktuellen State-of-the-Art-Methoden für die Punktwolken-Completion bzw. -Up-Sampling ergeben.