HyperAIHyperAI

Command Palette

Search for a command to run...

デジタル化されたアナログビデオテープのリファレンスに基づく復元

Lorenzo Agnolucci Leonardo Galteri Marco Bertini Alberto Del Bimbo

概要

アナログ磁気テープは数十年にわたり、主なビデオデータ記録媒体として使用されてきました。アナログビデオテープに保存された映像は、テープの劣化や読み取り装置の故障によって引き起こされる一意の劣化パターンを示し、フィルムやデジタルビデオの修復作業で観察されるものとは異なります。本研究では、デジタル化されたアナログビデオテープ(TAPE)の修復に向けた参照ベースアプローチを提案します。CLIPを用いてゼロショットアーティファクト検出を行い、異なるアーティファクトを説明するテキストプロンプトを通じて各映像の最もクリーンなフレームを識別します。次に、入力フレームと最も類似したクリーンなフレームを選択し、それらを参照として使用します。我々は、隣接フレームと参照フレームの両方を利用するためのマルチリファレンス空間特徴融合(MRSFF)ブロックを備えたトランスフォーマーに基づくSwin-UNetネットワークを設計しました。MRSFFブロックはクロスアテンションとアテンションプーリングを利用して、各参照フレームから最も有用な部分を利用します。実際の映像における真値の欠如に対処するために、アナログビデオテープで一般的に見られる劣化パターンに近いアーティファクトを持つ合成データセットを作成しました。定量的および定性的評価実験により、当社の手法が他の最先端手法と比較して有効であることが示されています。コード、モデル、および合成データセットは公開されており、https://github.com/miccunifi/TAPE からアクセスできます。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています