HyperAIHyperAI

Command Palette

Search for a command to run...

ST-MFNet:フレーム補間を目的とした空間時系列マルチフローネットワーク

Duolikun Danier Fan Zhang David Bull

概要

動画フレーム補間(Video Frame Interpolation: VFI)は現在、コンピュータビジョン、後期制作、動画エンコーディングなど幅広い分野で活発な研究テーマとなっており、特に大規模な運動、隠蔽(オクルージョン)、動的テクスチャを含む映像シーケンスにおいて、従来の手法が知覚的に安定した補間性能を発揮できないという課題が存在する。このような状況を踏まえ、本研究では、空間時間的マルチフロー構造に基づく新しい深層学習ベースのVFI手法、ST-MFNetを提案する。ST-MFNetは、多スケール・マルチフロー予測器を新たに導入し、多対一の中間フローを推定する。このマルチフローは従来の1対1オプティカルフローと組み合わせられ、大規模かつ複雑な運動を効果的に捉えることを可能にする。さらに、さまざまなテクスチャに対する補間性能の向上を図るため、拡張された時間窓におけるコンテンツ動態をモデル化する3D畳み込みニューラルネットワーク(3D CNN)も採用している。また、知覚的補間品質のさらなる向上を目的として、テクスチャ合成に当初開発されたST-GANフレームワーク内での学習を実施している。本手法は、14の最先端VFIアルゴリズムと比較して包括的な評価が行われており、多様かつ代表的なテストデータセットにおいて、ST-MFNetが一貫して優れた性能を発揮することが明らかになった。特に大規模な運動や動的テクスチャを含むケースでは、PSNRで最大1.09dBの顕著な向上が達成された。プロジェクトページ:https://danielism97.github.io/ST-MFNet


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています