Point Cloudの自己監督学習用マスク付きオートエンコーダー

自己監督学習の有望なスキームとして、マスクされたオートエンコーディングは自然言語処理とコンピュータビジョンにおいて大幅に進歩を遂げています。この研究から着想を得て、点群の自己監督学習向けに簡潔なマスクされたオートエンコーダーのスキームを提案します。これにより、点群の特性がもたらす課題、つまり位置情報の漏洩や情報密度の不均一性に対処できます。具体的には、入力点群を不規則な点パッチに分割し、それらを高い比率でランダムにマスキングします。その後、非対称設計とマスキングトークンのシフト操作を持つ標準的なトランスフォーマーに基づくオートエンコーダーが、マスクされていない点パッチから高次元潜在特徴を学習し、マスクされた点パッチを再構成することを目指します。広範囲にわたる実験結果は、私たちのアプローチが事前学習中に効率的であり、様々な下流タスクに対して良好な汎化性能を示すことを示しています。特に、私たちの事前学習済みモデルはScanObjectNNで85.18%の精度、ModelNet40で94.04%の精度を達成し、他のすべての自己監督学習方法を上回っています。また、当スキームでは標準的なトランスフォーマーのみを使用した単純なアーキテクチャが教師あり学習専用のトランスフォーマーモデルを超えることを示しています。さらに、私たちのアプローチは少ショット物体分類における最先端精度を1.5%-2.3%向上させています。本研究は言語や画像からの統合型アーキテクチャを点群に適用する可能性にも光を当てています。