13日前

AdaPoinTr:適応的幾何認識トランスフォーマーを用いた多様な点群補完

Xumin Yu, Yongming Rao, Ziyi Wang, Jiwen Lu, Jie Zhou
AdaPoinTr:適応的幾何認識トランスフォーマーを用いた多様な点群補完
要約

本稿では、点群補完を集合から集合への翻訳問題として再定式化する新しい手法を提案し、Transformerエンコーダ・デコーダアーキテクチャを採用した新規モデルPoinTrを設計した。点群を位置埋め込みを伴う無順序な点のグループ集合として表現することで、入力データを点プロキシの系列に変換し、Transformerを用いた生成処理を実現した。さらに、3次元点群の幾何構造に関するインダクティブバイアスをTransformerがより効果的に活用できるようにするため、局所的な幾何的関係を明示的にモデル化する「幾何意識型ブロック」を考案した。Transformerの導入により、モデルは構造的知識をよりよく学習し、詳細情報を保持する能力が向上した。より複雑で多様な状況への対応を目指し、点群補完中に適応的なクエリ生成機構を導入し、新たなノイズ除去タスクを設計することで、AdaPoinTrをさらに提案した。これらの技術の統合により、モデルの効率的かつ効果的な学習が可能となり、学習時間を15倍以上短縮するとともに、補完性能を20%以上向上させた。また、新たな幾何強化型意味的シーン補完フレームワークを設計することで、本手法がシーンレベルの点群補完タスクへも拡張可能であることを示した。既存および新しく提案したデータセットを用いた広範な実験により、本手法の有効性を実証した。具体的には、PCNデータセットで6.53(CD)、ShapeNet-55で0.81(CD)、実世界のKITTIデータセットで0.392(MMD)という優れた性能を達成し、他の手法を大きく上回り、さまざまなベンチマークにおいて新たなSOTA(最先端)を樹立した。特に注目すべきは、AdaPoinTrが従来の最良手法と比較して、より高いスループットと少ないFLOPsで、これほどの優れた性能を実現できることである。コードおよびデータセットは、https://github.com/yuxumin/PoinTr にて公開されている。

AdaPoinTr:適応的幾何認識トランスフォーマーを用いた多様な点群補完 | 最新論文 | HyperAI超神経