2ヶ月前

MambaTalk: 選択的状態空間モデルを用いた効率的な包括的手勢合成

Xu, Zunnan ; Lin, Yukang ; Han, Haonan ; Yang, Sicheng ; Li, Ronghui ; Zhang, Yachao ; Li, Xiu
MambaTalk: 選択的状態空間モデルを用いた効率的な包括的手勢合成
要約

ジェスチャ合成は、映画、ロボット工学、仮想現実などさまざまな分野で広範な応用を持つ人間とコンピュータの相互作用において重要な領域です。最近の進歩では、ジェスチャ合成を改善するために拡散モデルと注意機構が利用されています。しかし、これらの手法の高い計算複雑さにより、低遅延で長い多様なシーケンスを生成することは依然として課題となっています。本研究では、状態空間モデル(SSMs)の可能性を探り、離散運動事前分布を使用した二段階モデリング戦略を実装することでジェスチャの品質向上を目指します。基礎となるマンバブロックを活用し、多モーダル統合を通じてジェスチャの多様性とリズムを強化する「マンバトーク」を提案します。広範な実験結果から、当方法が最先端のモデルに匹敵または優れた性能を示すことが確認されました。

MambaTalk: 選択的状態空間モデルを用いた効率的な包括的手勢合成 | 最新論文 | HyperAI超神経