13日前

PoinTr: ジオメトリ感知型Transformerを用いた多様な点群補完

Xumin Yu, Yongming Rao, Ziyi Wang, Zuyan Liu, Jiwen Lu, Jie Zhou
PoinTr: ジオメトリ感知型Transformerを用いた多様な点群補完
要約

実世界の応用で取得された点群は、センサの分解能制限、単一視点からの観測、および遮蔽(オクルージョン)の影響により、しばしば不完全な状態となる。そのため、部分的な点群から完全な点群を復元することは、多くの実用的応用において不可欠なタスクとなっている。本論文では、点群補完を「集合から集合への変換(set-to-set translation)」問題として再定式化し、Transformerエンコーダ・デコーダアーキテクチャを採用した新しいモデルPoinTrを提案する。点群を位置埋め込みを用いた順序なし点のグループ集合として表現することで、点群を点プロキシの系列に変換し、Transformerを用いて点群の生成を実現する。さらに、3次元幾何構造に関するインダクティブバイアスをTransformerがより効果的に活用できるようにするため、局所的な幾何的関係を明示的にモデル化する「幾何情報に配慮したブロック(geometry-aware block)」を新たに設計した。Transformerの導入により、モデルは構造的な知識をより深く学習し、詳細な情報を保持する点群補完が可能となる。また、より多様な不完全点群を含む、より挑戦的な2つの新しいベンチマークを提案することで、現実世界の状況をより適切に反映し、今後の研究を促進することを目的とした。実験結果から、本手法は新規ベンチマークおよび既存のベンチマークの両方において、最先端手法を大きく上回る性能を示した。コードは以下のURLで公開されている:https://github.com/yuxumin/PoinTr

PoinTr: ジオメトリ感知型Transformerを用いた多様な点群補完 | 最新論文 | HyperAI超神経