CSDN：点群補完のためのクロスモーダル形状転送デュアルリファインメントネットワーク

物理的な物体に欠損部分がある場合、どのように修復するでしょうか？まず、以前に撮影された画像から元の形状を想像し、全体的な（グローバルな）形状を粗く復元した後、局部的な詳細を段階的に修正していくと考えられます。この物理的な修復プロセスを模倣することで、点群補完（point cloud completion）の問題に取り組むことを目指しています。そのために、画像を全サイクルにわたり参加させる粗い形状から細かい形状へと段階的に処理する枠組みを採用した、クロスモーダル形状転送型二段階精緻化ネットワーク（Cross-modal Shape-transfer Dual-refinement Network、略してCSDN）を提案します。CSDNは主に「形状融合（shape fusion）」モジュールと「二段階精緻化（dual-refinement）」モジュールから構成され、クロスモーダルな課題に対応します。第一のモジュールは、単一画像から得られる内在的な形状特徴を用いて、点群の欠損領域における幾何形状の生成をガイドします。この際、画像と部分点群のグローバル特徴を効果的に統合するため、IPAdaIN（Image and Partial point cloud Adaptive Instance Normalization）を提案しました。第二のモジュールは、生成された点の位置を調整することで粗い出力を精緻化します。局所精緻化ユニットは、新規生成点と入力点の幾何的関係をグラフ畳み込み（graph convolution）により捉え、局所的な形状の整合性を高めます。一方、グローバル制約ユニットは、入力画像を活用して生成されたオフセットを微調整することで、全体的な形状の整合性を保ちます。既存の多くの手法とは異なり、CSDNは画像から得られる補完的情報を探索するだけでなく、粗い段階から細かい段階まで、全体的な補完プロセスにおいてクロスモーダルデータを効果的に活用しています。実験結果から、CSDNはクロスモーダルベンチマークにおいて10の競合手法と比較して優れた性能を示していることが確認されました。