HyperAIHyperAI

Command Palette

Search for a command to run...

深層動画生成・人間の行動シーケンスの予測および補完

Cai Haoye Bai Chunyan Tai Yu-Wing Tang Chi-Keung

概要

現在の動画生成における深層学習の成果は限定的であり、動画予測についても僅かにしか初期の結果が報告されておらず、動画補完に関しては有意義な成果はほとんどない。これは、これら3つの問題に内在する極めて強い不適切性(ill-posedness)に起因する。本研究では、人間の動作動画に焦点を当て、入力フレームが存在しない場合や任意の数の制約条件が与えられた場合にも対応可能な、汎用的で2段階構成の深層学習枠組みを提案する。この枠組みにより、以下の3つの問題を一貫して扱うことが可能となる:入力フレームなしでの動画生成、最初の数フレームが与えられた場合の動画予測、最初および最後のフレームが与えられた場合の動画補完。問題の扱いやすさを確保するため、第1段階では、ランダムノイズから人間のポーズ時系列を生成する深層生成モデルを学習する。第2段階では、骨格(スケルトン)から画像を生成するネットワークを学習し、第1段階で生成された完全なポーズ時系列を入力として、人間の動作動画を生成する。この2段階戦略を導入することにより、元来の不適切な問題を回避しつつ、これまでにない長期間にわたる高品質な動画生成・予測・補完の結果を初めて得ることができた。定量的および定性的な評価を通じて、本手法が動画生成、予測、補完の分野において、最先端の手法を上回ることを示した。動画生成結果のデモは、以下のURLで閲覧可能である:https://iamacewhite.github.io/supp/index.html


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています