PointGPT: Auto-regressive generative Pre-training von Punktwolken

Große Sprachmodelle (LLMs) auf der Basis des generativen vortrainierten Transformers (GPT) haben ihre bemerkenswerte Effektivität in einer Vielzahl von Downstream-Aufgaben bewiesen. Inspiriert durch die Fortschritte im Bereich des GPT, stellen wir PointGPT vor, einen neuen Ansatz, der das Konzept des GPT auf Punktwolken erweitert und damit die Herausforderungen unstrukturierter Eigenschaften, niedriger Informationsdichte und Aufgabenschwierigkeiten angeht. Insbesondere wird eine autoregressive Generierungsaufgabe für Punktwolken vorgeschlagen, um Transformer-Modelle zu vortrainieren. Unsere Methode unterteilt die Eingangs-Punktwolke in mehrere Punktpatches und ordnet sie basierend auf ihrer räumlichen Nähe in einer sequentiellen Reihenfolge an. Anschließend lernt ein Extractor-Generator-basierter Transformer-Dekoder mit einer doppelten Maskierungsstrategie latente Darstellungen unter Berücksichtigung der vorherigen Punktpatches und versucht, den nächsten Patch in einem autoregressiven Verfahren vorherzusagen. Unser skalierbarer Ansatz ermöglicht es, hochkapazitäre Modelle zu trainieren, die sich gut verallgemeinern lassen und den aktuellen Stand der Technik bei verschiedenen Downstream-Aufgaben übertreffen. Insbesondere erreicht unser Ansatz Klassifikationsgenauigkeiten von 94,9 % im ModelNet40-Datensatz und 93,4 % im ScanObjectNN-Datensatz, wodurch er alle anderen Transformer-Modelle übertrifft. Darüber hinaus erzielt unsere Methode neue Spitzenwerte bei allen vier Few-Shot-Learning-Benchmarks.注释:- "Downstream-Aufgaben" 是指在预训练模型之后进行的具体任务。- "Punktpatches" 是指点云中的局部区域。- "autoregressive Generierungsaufgabe" 指的是自回归生成任务。- "Few-Shot-Learning-Benchmarks" 是指少量样本学习的基准测试。