2ヶ月前

CorrNet3D: 3次元点群のための教師なしエンドツーエンド学習による高密度対応関係の学習

Zeng, Yiming ; Qian, Yue ; Zhu, Zhiyu ; Hou, Junhui ; Yuan, Hui ; He, Ying
CorrNet3D: 3次元点群のための教師なしエンドツーエンド学習による高密度対応関係の学習
要約

2つのアライメントされた点群を互いに変換することは、非アライメントのペアよりも容易かつ意味深いという直感に基づき、我々はCorrNet3D -- 最初の無教師かつエンドツーエンドの深層学習ベースのフレームワーク -- を提案します。このフレームワークは、3D形状間の密集対応を学習し、注釈データの必要性を克服するために、変形のような再構築手段を使用します。具体的には、CorrNet3Dは深層特徴埋め込みモジュールと、対応指標(correspondence indicator)および対称デフォーマー(symmetric deformer)と呼ばれる2つの新規モジュールで構成されています。生の点群ペアを入力として与えると、まずモデルはポイントごとの特徴を学習し、それらを指標に渡して学習可能な対応行列を生成します。この行列は入力ペアの順列化に使用されます。対称デフォーマーは追加の正則化損失とともに、2つの順列化された点群を互いに変換することで対応関係の無教師学習を推進します。剛体および非剛体の3D形状に関する合成データセットと実世界データセットでの広範な実験により、CorrNet3Dが既存の最先端手法を大幅に上回ることが示されました。メッシュを入力とする手法も含みます。CorrNet3Dは柔軟なフレームワークであり、注釈データが利用可能であれば監督学習にも容易に適応できます。ソースコードと事前学習済みモデルは以下のURLから入手可能です: https://github.com/ZENGYIMING-EAMON/CorrNet3D.git.

CorrNet3D: 3次元点群のための教師なしエンドツーエンド学習による高密度対応関係の学習 | 最新論文 | HyperAI超神経