Snowflake Point Deconvolution für die Punktwolken-Vervollständigung und -Generierung mit Skip-Transformer

Die meisten bestehenden Methoden zur Punktwolken-Vervollständigung leiden unter der diskreten Natur von Punktwolken und der unstrukturierten Vorhersage von Punkten in lokalen Regionen, was die Erfassung feiner geometrischer Details erschwert. Um dieses Problem zu lösen, stellen wir SnowflakeNet mit einem snowflake-artigen Punkt-Deconvolution-Verfahren (SPD) vor, das vollständige Punktwolken erzeugt. SPD modelliert die Generierung von Punktwolken als schneeflockenähnliches Wachstum von Punkten, wobei nach jeder SPD-Schicht Kindpunkte durch Aufspalten ihrer Elternpunkte schrittweise generiert werden. Unser zentrales Konzept zur Erfassung detaillierter Geometrien besteht darin, einen Skip-Transformer in die SPD einzubinden, um diejenigen Aufspaltmuster zu lernen, die sich am besten für die lokalen Regionen eignen. Der Skip-Transformer nutzt Mechanismen der Aufmerksamkeit, um die in der vorherigen SPD-Schicht verwendeten Aufspaltmuster zusammenzufassen und so die Aufspaltung in der aktuellen Schicht zu generieren. Die lokal kompakten und strukturierten Punktwolken, die durch SPD erzeugt werden, offenbaren präzise die strukturellen Merkmale der 3D-Form in lokalen Patchen, was eine präzise Vorhersage hochdetaillierter Geometrien ermöglicht. Darüber hinaus ist SPD eine allgemeine Operation, die nicht auf die Vervollständigung beschränkt ist; wir untersuchen daher ihre Anwendbarkeit in weiteren generativen Aufgaben, darunter Punktwolken-Auto-Encoding, Punktwolken-Generierung, Rekonstruktion aus einzelnen Bildern sowie Upsampling. Unsere experimentellen Ergebnisse überzeugen gegenüber den derzeit besten Verfahren in weit verbreiteten Benchmarks.