TextureNet: メッシュ上の高解像度信号からの学習のための一貫性のある局所パラメトリゼーション

私たちは、3D表面メッシュ（例えば、色テクスチャマップ）に関連する高解像度信号から特徴を抽出するために設計されたニューラルネットワークアーキテクチャ、TextureNetを紹介します。この手法の基本的なアイデアは、4回転対称（4-RoSy）フィールドを利用して、表面での畳み込みの領域を定義することです。4-RoSyフィールドは、表面での畳み込みに有利ないくつかの特性（低歪み、少ない特異点、一貫したパラメータ化など）を持っていますが、任意のサンプルポイントにおいて向きは4倍回転まで曖昧です。そこで、4-RoSyの曖昧性に対して不変である新しい畳み込み演算子を導入し、これをネットワークで使用して表面の測地線近傍における高解像度信号から特徴を抽出します。PointNetベースの方法などの代替手段と比較すると、これらの近傍によって与えられる一貫した構造により、著しく強力な特徴が得られます。具体的な応用例として、テクスチャ付き3Dメッシュの3D意味分割における当アーキテクチャの利点を示します。結果は、平均IoUに基づいて当手法が既存のすべての手法を大幅に上回ることを示しており、幾何学情報のみの場合（6.4%）およびRGB+幾何学情報の場合（6.9-8.2%）においても同様です。