2ヶ月前

BeLFusion: 潜在拡散モデルを用いた行動駆動型の人間運動予測

German Barquero; Sergio Escalera; Cristina Palmero
BeLFusion: 潜在拡散モデルを用いた行動駆動型の人間運動予測
要約

確率的人間動作予測(Human Motion Prediction: HMP)は、一般的に生成対抗ネットワーク(Generative Adversarial Networks: GANs)や変分オートエンコーダー(Variational Autoencoders: VAEs)を用いて取り組まれてきました。これまでの多くの研究では、骨格関節の分散に基づいた多様な動きの予測を目指しており、これにより高速で動作が分岐するような動きを予測する手法が開発されてきました。しかし、これらの方法はしばしば現実的ではなく、過去の動作と整合性が取れていないことが問題となっています。また、微妙な関節移動を伴う低範囲の多様な行動や動作を予測する必要がある文脈も無視されています。これらの課題に対処するために、本稿ではBeLFusionというモデルを提案します。BeLFusionは初めてHMPにおいて潜在拡散モデル(Latent Diffusion Models: LDMs)を利用し、行動と姿勢・動作が分離された潜在空間からサンプリングを行うことで、行動的な観点から多様性を促進します。我々の行動結合器(Behavior Coupler)がサンプリングされた行動を進行中の動作に転送できるため、BeLFusionの予測は現状最高峰の手法よりも著しく現実的で多様な行動を示します。これを支えるために、126人の参加者による質的研究に基づき、リアルさの定義と相関のある2つの指標である累積運動分布面積(Area of the Cumulative Motion Distribution: ACMoD)と平均ペアワイズ距離誤差(Average Pairwise Distance Error: APDE)を導入しました。最後に、新しいクロスデータセットシナリオにおける確率的HMPでのBeLFusionの汎化能力を証明しています。

BeLFusion: 潜在拡散モデルを用いた行動駆動型の人間運動予測 | 最新論文 | HyperAI超神経