AdaPoinTr: Diversifizierte Punktewolken-Vervollständigung mit adaptiven geometriebewussten Transformers

In diesem Artikel stellen wir eine neue Methode vor, die die Vervollständigung von Punktwolken als ein Set-zu-Set-Übersetzungsproblem formuliert, und entwickeln ein neues Modell namens PoinTr, das eine Transformer-Encoder-Decoder-Architektur für die Vervollständigung von Punktwolken nutzt. Durch die Darstellung der Punktwolke als eine Menge ungeordneter Punktgruppen mit Positions-Einbettungen wandeln wir die Eingabedaten in eine Folge von Punkt-Proxys um und nutzen Transformer zur Generierung. Um den Transformer zu ermöglichen, die induktiven Vorteile hinsichtlich der 3D-geometrischen Strukturen von Punktwolken besser auszunutzen, führen wir zudem einen geometriebewussten Block ein, der die lokalen geometrischen Beziehungen explizit modelliert. Die Integration von Transformer-Architekturen ermöglicht es unserem Modell, strukturelle Kenntnisse effektiver zu erlernen und detaillierte Informationen bei der Vervollständigung von Punktwolken besser zu bewahren. In Richtung komplexerer und vielfältigerer Szenarien schlagen wir zudem AdaPoinTr vor, indem wir eine adaptive Abfragen-Generierungs-Mechanismus entwickeln und während der Vervollständigung eine neuartige Rauschunterdrückungsaufgabe entwerfen. Die Kombination dieser beiden Techniken ermöglicht eine effiziente und effektive Modelltrainierung: Wir reduzieren die Trainingszeit um das 15-fache oder mehr und verbessern die Vervollständigungsleistung um über 20 %. Zudem zeigen wir, dass unsere Methode auf die Szenen-Ebene der Punktwolken-Vervollständigung erweitert werden kann, indem wir einen neuen, geometrie-verbesserten semantischen Szenen-Vervollständigungs-Framework entwerfen. Umfangreiche Experimente an bestehenden und neu vorgeschlagenen Datensätzen belegen die Wirksamkeit unserer Methode, die auf PCN eine CD von 6,53, auf ShapeNet-55 eine CD von 0,81 und auf dem realen KITTI-Datensatz eine MMD von 0,392 erreicht – wobei diese Ergebnisse die bisherigen Arbeiten deutlich übertrifft und neue State-of-the-Art-Werte auf verschiedenen Benchmarks etabliert. Besonders hervorzuheben ist, dass AdaPoinTr in der Praxis eine solch vielversprechende Leistung mit höheren Durchsätzen und weniger FLOPs im Vergleich zu den vorherigen besten Methoden erzielt. Der Quellcode und die Datensätze sind unter https://github.com/yuxumin/PoinTr verfügbar.