Point-JEPA: ポイントクラウドの自己教師あり学習のための合同埋め込み予測アーキテクチャ

最近の自己監督学習における点群データに関する進歩は、大きな可能性を示しています。しかし、これらの手法はしばしば長時間の事前学習や入力空間での再構成の必要性、または追加モダリティの必要性などの課題を抱えています。これらの問題に対処するため、私たちはPoint-JEPA（Joint Embedding Predictive Architecture）を提案します。これは、特に点群データ向けに設計された共同埋め込み予測アーキテクチャです。本手法では、点群パッチ埋め込みを順序付けし、ターゲットとコンテキスト選択時にインデックスに基づいてその近接性を効率的に計算および利用するシーケンサーを導入します。このシーケンサーにより、コンテキストとターゲット選択間でパッチ埋め込みの近接性の共有計算が可能となり、さらに効率が向上します。実験結果では、当手法は入力空間での再構成や追加モダリティを避ける一方で、最先端手法と競合する結果を得ています。