HyperAIHyperAI

Command Palette

Search for a command to run...

Transformerを用いた動画フレーム補間

Liying Lu Ruizheng Wu Huaijia Lin Jiangbo Lu Jiaya Jia

概要

動画フレーム補間(VFI)は、動画の途中フレームを合成することを目的としており、近年の深層畳み込みネットワークの発展により著しい進展を遂げてきた。従来の畳み込みネットワークに基づく手法は、畳み込み演算の局所性のため、大規模な動きを扱う際に課題に直面している。この制約を克服するため、本研究ではTransformerを活用し、動画フレーム間の長距離ピクセル相関をモデル化する新しいフレームワークを提案する。さらに、本ネットワークは新たなクロススケールウィンドウベースのアテンション機構を備えており、異なるスケールのウィンドウ同士が相互に作用する構造を採用している。この設計により、受容fieldが効果的に拡大され、マルチスケールの情報を効果的に統合できる。広範な定量的および定性的な実験結果から、本手法がさまざまなベンチマークにおいて、新たな最先端の性能を達成していることが示された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています