PointFlow: 3D-Punktwolke-Erzeugung mit kontinuierlichen Normalizing Flows

Da 3D-Punktwolken zunehmend zur bevorzugten Darstellung für verschiedene Anwendungen im Bereich Vision und Grafik werden, ist die Fähigkeit, hochaufgelöste, hochwertige Punktwolken zu synthetisieren oder zu rekonstruieren, von entscheidender Bedeutung. Trotz des jüngsten Erfolgs von tiefen Lernmodellen bei diskriminativen Aufgaben mit Punktwolken bleibt die Generierung von Punktwolken eine Herausforderung. In dieser Arbeit wird ein präzises probabilistisches Framework vorgeschlagen, um 3D-Punktwolken durch Modellierung als Verteilung von Verteilungen zu generieren. Insbesondere lernen wir eine zweistufige Hierarchie von Verteilungen, wobei die erste Stufe die Verteilung der Formen und die zweite Stufe die Verteilung der Punkte gegeben einer Form ist. Diese Formulierung ermöglicht es uns, sowohl Formen als auch eine beliebige Anzahl von Punkten einer Form zu sampeln. Unser generatives Modell, PointFlow genannt, lernt jede Stufe der Verteilung mit einem kontinuierlichen normalisierenden Fluss (continuous normalizing flow). Die Umkehrbarkeit von normalisierenden Flüssen ermöglicht das Berechnen der Likelihood während des Trainings und erlaubt es uns, unser Modell im Rahmen der variationellen Inferenz zu trainieren. Empirisch zeigen wir, dass PointFlow den Stand der Technik in der Generierung von Punktwolken erreicht. Zudem demonstrieren wir, dass unser Modell in der Lage ist, Punktwolken treu zu rekonstruieren und nützliche Repräsentationen auf nichtüberwachte Weise zu lernen. Der Code wird unter https://github.com/stevenygd/PointFlow verfügbar sein.