PointGPT: ポイントクラウドからの自己回帰的生成事前学習

生成予測変換器（Generative Pre-Training Transformer: GPT）に基づく大規模言語モデル（Large Language Models: LLMs）は、多様な下流タスクにおいて著しい効果を示しています。GPTの進歩に触発され、本研究ではPointGPTという新しいアプローチを提案します。これは、点群データに対するGPTの概念を拡張し、順序性の欠如、情報密度の低さ、およびタスク間のギャップといった課題に対処することを目的としています。具体的には、点群データの自己回帰生成タスクを提案し、これを用いて変換器モデルの事前学習を行います。当手法では、入力点群を複数の点パッチに分割し、それらが空間的に近い順に並べ替えます。その後、抽出器-ジェネレータベースの変換器デコーダーが双方向マスキング戦略により、先行する点パッチに基づいた潜在表現を学習し、自己回帰的に次の点パッチを予測することを目指します。当手法はスケーラブルであり、高容量モデルの学習を可能とし、さまざまな下流タスクで最先端の性能を達成しています。特に、ModelNet40データセットでの分類精度は94.9%、ScanObjectNNデータセットでは93.4%となり、他のすべての変換器モデルを上回っています。さらに、当手法は4つの少ショット学習ベンチマーク全てにおいて新たな最先端精度を達成しています。