2ヶ月前

痛みなし、大きな成果:特徴レベルの時空間面を適合させて静的なモデルで動的点群シーケンスを分類する

Zhong, Jia-Xing ; Zhou, Kaichen ; Hu, Qingyong ; Wang, Bing ; Trigoni, Niki ; Markham, Andrew
痛みなし、大きな成果:特徴レベルの時空間面を適合させて静的なモデルで動的点群シーケンスを分類する
要約

シーンフローは、3次元点群の運動場を捉える強力なツールです。しかし、非構造的な点が点ごとの対応関係を効率的かつ効果的に追跡することを難しく、あるいは不可能にするため、フローベースのモデルを動的点群分類に直接適用することは困難です。対応関係を明示的に追跡せずに3次元運動を捉えるために、我々はST-サーフェスの運動学的概念を特徴空間に一般化し、運動学に着想を得たニューラルネットワーク(Kinet)を提案します。ST-サーフェスの通常ソルバを特徴空間で展開することで、Kinetは特徴レベルのダイナミクスを暗黙的に符号化し、静的点群処理用の成熟したバックボーンを使用する利点を得ます。ネットワーク構造への僅かな変更と低い計算オーバーヘッドだけで、当フレームワークは与えられた静的モデルと共に共同訓練および展開を行うことができます。NvGesture, SHREC'17, MSRAction-3D, およびNTU-RGBDでの実験結果は、その性能における有効性、パラメータ数と計算複雑さにおける効率性、そして様々な静的バックボーンに対する汎用性を示しています。特に注目に値するのは、MSRAction-3DにおいてKinetが3.20Mのパラメータと10.35G FLOPSで93.27%の精度を達成していることです。

痛みなし、大きな成果:特徴レベルの時空間面を適合させて静的なモデルで動的点群シーケンスを分類する | 最新論文 | HyperAI超神経