15日前

スカイフレーク・ポイント・デコンボリューション:スキップ・トランスフォーマーを用いたポイントクラウドの補完および生成

Peng Xiang, Xin Wen, Yu-Shen Liu, Yan-Pei Cao, Pengfei Wan, Wen Zheng, Zhizhong Han
スカイフレーク・ポイント・デコンボリューション:スキップ・トランスフォーマーを用いたポイントクラウドの補完および生成
要約

現在の主流である点群補完手法は、点群の離散性および局所領域における点の非構造的な予測という課題に直面しており、細かい局所的な幾何学的詳細を正確に捉えることが難しい。この問題を解決するために、本研究では「スノーフレイクネット(SnowflakeNet)」を提案し、スノーフレーク型点デコンボリューション(SPD: Snowflake Point Deconvolution)を用いて完全な点群を生成する。SPDは、点の生成をスノーフレークのように点が逐次成長する過程としてモデル化する。各SPD層において、親点を分割することで子点を順次生成する。本研究の核心的な洞察は、局所領域に最も適した点の分割パターンを学習するため、SPDにスキップトランスフォーマー(skip-transformer)を導入することである。スキップトランスフォーマーは、アテンション機構を活用して、前層で用いられた分割パターンの特徴を要約し、現在の層での分割を生成する。SPDによって生成される局所的に密で構造的な点群は、3D形状の局所パッチにおける構造的特徴を正確に表現でき、高精度な幾何形状の予測を可能にする。さらに、SPDは補完に限定されない汎用的な操作であるため、点群オートエンコーディング、点群生成、単一画像からの再構成、アップサンプリングなど、他の生成タスクへの応用も検討した。実験結果では、広く用いられるベンチマークにおいて、最先端の手法を上回る性能を達成した。

スカイフレーク・ポイント・デコンボリューション:スキップ・トランスフォーマーを用いたポイントクラウドの補完および生成 | 最新論文 | HyperAI超神経