HyperAIHyperAI

Command Palette

Search for a command to run...

TDAN: 時間的に変形可能なアライメントネットワークによるビデオ超解像

Yapeng Tian; Yulun Zhang; Yun Fu; Chenliang Xu

概要

ビデオ超解像(VSR)は、対応する低解像度(LR)フレーム(参照フレーム)と複数の近傍フレーム(補助フレーム)から、写真のようにリアルな高解像度(HR)ビデオフレームを復元することを目指しています。カメラや物体の動きが異なるため、参照フレームと各補助フレームは位置合わせされていません。したがって、時間的な位置合わせはVSRにおいて難しく重要な問題となっています。従来のVSR手法では、通常、参照フレームと各補助フレーム間の光学フローを利用し、補助フレームを時間的に位置合わせするためにラッピングを行います。そのため、これらの画像レベルでのラッピングベースモデルの性能は光学フローの予測精度に大きく依存し、不正確な光学フローはラップされた補助フレームにアーティファクトを引き起こし、さらに再構築されたHRビデオフレームにも伝播します。この制限を克服するために、本論文では特徴量レベルで光学フローを計算せずに参照フレームと各補助フレームを適応的に位置合わせるための一時的変形アライメントネットワーク(TDAN: Temporal Deformable Alignment Network)を提案します。TDANは、参照フレームと各補助フレームからの特徴量を使用してサンプリング畳み込みカーネルのオフセットを動的に予測します。対応するカーネルを使用することで、TDANは補助フレームを参照フレームに位置合わせます。HRビデオフレームを予測するために、位置合わせされたフレームと参照フレームを取り扱う再構築ネットワークが利用されます。実験結果は提案されたTDANベースのVSRモデルの有効性を示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています