2ヶ月前

DSFFNet: 両側特徴融合ネットワークによる3Dポーズ転送

Jue Liu
DSFFNet: 両側特徴融合ネットワークによる3Dポーズ転送
要約

既存の方法におけるポーズ特徴の前向き伝播中のポーズ歪み問題を解決するために、本論文ではポーズ転送用の双方向特徴融合ネットワーク(Dual-Side Feature Fusion Network for pose transfer: DSFFNet)を提案する。まず、ソースメッシュから固定長のポーズコードをポーズエンコーダーによって抽出し、ターゲット頂点と組み合わせて混合特徴を形成する。次に、Feature Fusion Adaptive Instance Normalization モジュール(FFAdaIN)が設計され、このモジュールはポーズ特徴とアイデンティティ特徴を同時に処理でき、層ごとの前向き伝播でポーズ特徴が補正されるため、ポーズ歪み問題が解決される。最後に、このモジュールから構成されるメッシュデコーダーを使用して、ポーズが段階的にターゲットメッシュに転送される。SMPL, SMAL, FAUST および MultiGarment データセットでの実験結果は、DSFFNet がより小さなネットワーク構造を持つ一方で強力なポーズ転送能力と高速な収束速度を維持し、異なる頂点数を持つメッシュに対応できることが示されている。コードは https://github.com/YikiDragon/DSFFNet で公開されている。

DSFFNet: 両側特徴融合ネットワークによる3Dポーズ転送 | 最新論文 | HyperAI超神経