17日前

3次元人体ポーズ推定のためのモジュレートグラフ畳み込みネットワーク

{Wei Tang, Zhiming Zou}
3次元人体ポーズ推定のためのモジュレートグラフ畳み込みネットワーク
要約

グラフ畳み込みネットワーク(GCN)は、人体部位間の関係をモデル化することで、3次元人体姿勢推定(3D HPE)において近年、有望な性能を達成している。しかし、従来の多数のGCNアプローチは、主に2つの課題を抱えている。第一に、グラフ畳み込み層内の各ノードにおいて、特徴変換が共有されているため、異なる関節間の関係を適切に学習できない。第二に、グラフ構造が通常、人間の骨格構造に基づいて定義されるが、実際の人体運動は関節間の自然な接続を超えた運動パターンを示すことが多いため、この構造は最適ではない。これらの制約を克服するため、本研究では3D HPE向けに新しい「モジュレートGCN」を提案する。本手法は、重みモジュレーションと類似度モジュレーションの2つの主要な構成要素から構成される。重みモジュレーションは、各ノードに異なるモジュレーションベクトルを学習させることで、ノードごとの特徴変換を分離しつつも、モデルサイズを小さく維持する。類似度モジュレーションは、GCN内のグラフ構造を動的に調整することで、人間の骨格を超えた追加のエッジをモデル化可能にする。本研究では、複数の類似度モジュレーション手法および正則化の影響を検証した。厳密なアブレーションスタディの結果、両方のモジュレーションが性能向上をもたらし、計算オーバーヘッドは極めて小さいことが示された。最先端の3D HPE用GCNと比較して、本手法はモデルサイズを大幅に削減(例:4.22Mから0.29Mへ、14.5倍の削減)しつつ、同等の性能を達成するか、あるいはモデルサイズを維持したまま推定誤差を約10%大幅に低減する。2つのベンチマークデータセットにおける実験結果から、本手法が近年の最先端手法を上回ることを確認した。本研究のコードは、https://github.com/ZhimingZo/Modulated-GCN にて公開されている。

3次元人体ポーズ推定のためのモジュレートグラフ畳み込みネットワーク | 最新論文 | HyperAI超神経