Point-BERT: マスクされたポイントモデリングを用いた3Dポイントクラウドトランスフォーマーの事前学習

私たちはPoint-BERTを提案します。これは、3D点群にBERTの概念を一般化する新しいパラダイムです。BERTに着想を得て、Masked Point Modeling (MPM) タスクを考案し、点群Transformerの事前学習を行います。具体的には、まず点群をいくつかの局所的な点パッチに分割し、離散変分オートエンコーダー (dVAE) を用いた点群トークナイザーを設計して、意味のある局所情報を含む離散的なポイントトークンを生成します。次に、入力点群のいくつかのパッチをランダムにマスキングし、それらをバックボーンTransformerに入力します。事前学習の目的は、Tokenizerによって得られたポイントトークンの監視下で、マスキングされた位置での元のポイントトークンを復元することです。多数の実験により、提案したBERTスタイルの事前学習戦略が標準的な点群Transformerの性能を大幅に向上させることを示しています。当社の事前学習戦略を使用することで、純粋なTransformerアーキテクチャがModelNet40で93.8%の精度とScanObjectNN最难設定で83.1%の精度を達成し、手作りデザインが少ない慎重に設計された点群モデルを超えることが確認されました。また、Point-BERTによって学習された表現が新しいタスクやドメインにも良好に転移することを示しており、特に少ショット点群分類タスクにおいて当社モデルは最先端技術を大きく進展させています。コードおよび事前学習済みモデルは以下のURLから入手可能です: https://github.com/lulutang0608/Point-BERT