Point-GCC: 幾何学と色のコントラストを用いた普遍的な自己監督3Dシーン事前学習

点群が提供する形状情報と色情報は、3次元シーン理解において両方とも極めて重要です。これらの2つの情報は点群の異なる側面を特徴づけますが、既存の手法ではそれらの区別と関連性について十分な設計が欠けています。そこで、点群情報をより効果的に利用できる3次元自己監督学習パラダイムを探索します。具体的には、形状と色情報をSiameseネットワークを使用して対応させるGeometry-Color Contrast（Point-GCC）という普遍的な3次元シーン事前学習フレームワークを提案します。実際のアプリケーションタスクに対応するために、(i) 点レベルのコントラストと新しい深層クラスタリングモジュールに基づくオブジェクトレベルのコントラストを組み合わせた階層的監督を設計し、事前学習と下流タスクとの間のギャップを埋めます；(ii) アーキテクチャに依存しないバックボーンを設計し、さまざまな下流モデルへの適応性を確保します。下流タスクに関連したオブジェクトレベル表現のおかげで、Point-GCCはモデル性能を直接評価でき、その結果は我々の手法の有効性を示しています。幅広いタスクにおける転移学習の結果も、すべてのデータセットで一貫した改善が見られることを示しており、例えばSUN RGB-DおよびS3DISデータセットでの最新最良の物体検出結果となっています。コードは https://github.com/Asterisci/Point-GCC で公開されます。