Point Feature Enhancement Masked Autoencoders を通じたコンパクトな3D表現の実現

3D表現の学習は、ポイントクラウド向けのマスク付きオートエンコーダ（MAE）に基づく事前学習手法において重要な役割を果たします。これには単一モーダルとクロスモーダルのMAEが含まれます。特に、クロスモーダルのMAE手法は他のモーダル知識を補助として強力な3D表現を学習しますが、しばしば重い計算負荷に悩まされ、大量のクロスモーダルデータペアに大きく依存するため、実際の応用に制約があります。一方、入力としてポイントクラウドのみを使用する単一モーダル手法は、その単純さと効率性から実際の応用で好まれています。しかし、これらの手法はグローバルランダムマスク入力により3D表現が限定されやすいという問題があります。よりコンパクトな3D表現を学習するために、私たちはシンプルでありながら効果的なポイント特徴強化マスク付きオートエンコーダ（Point-FEMAE）を提案します。この手法は主にグローバルブランチとローカルブランチで構成され、潜在的な意味論的特徴を捉えることを目指しています。具体的には、よりコンパクトな特徴を学習するために、共有パラメータを持つTransformerエンコーダーが導入され、グローバルランダムマスク戦略とローカルブロックマスク戦略によって得られたグローバルおよびローカル未マスクパッチからポイント特徴を抽出します。その後、特定のデコーダーによって再構築されます。さらに、ローカルブランチでの特徴強化のために、私たちは大規模な細かいローカルコンテキストを認識するためのローカルパッチ畳み込みを使用したローカル強化モジュール（Local Enhancement Module）を提案します。私たちの手法はクロスモーダルの代替手段と比較して事前学習効率を大幅に向上させています。また、多数のダウンストリーム実験により最先端の有効性が確認されており、特にベースライン（Point-MAE）に対してScanObjectNNの3つのバリエーションでそれぞれ5.16%、5.00%、5.04%上回っています。コードは以下のURLから入手可能です: https://github.com/zyh16143998882/AAAI24-PointFEMAE.