デジタル化されたアナログビデオテープのリファレンスに基づく復元

アナログ磁気テープは数十年にわたり、主なビデオデータ記録媒体として使用されてきました。アナログビデオテープに保存された映像は、テープの劣化や読み取り装置の故障によって引き起こされる一意の劣化パターンを示し、フィルムやデジタルビデオの修復作業で観察されるものとは異なります。本研究では、デジタル化されたアナログビデオテープ（TAPE）の修復に向けた参照ベースアプローチを提案します。CLIPを用いてゼロショットアーティファクト検出を行い、異なるアーティファクトを説明するテキストプロンプトを通じて各映像の最もクリーンなフレームを識別します。次に、入力フレームと最も類似したクリーンなフレームを選択し、それらを参照として使用します。我々は、隣接フレームと参照フレームの両方を利用するためのマルチリファレンス空間特徴融合（MRSFF）ブロックを備えたトランスフォーマーに基づくSwin-UNetネットワークを設計しました。MRSFFブロックはクロスアテンションとアテンションプーリングを利用して、各参照フレームから最も有用な部分を利用します。実際の映像における真値の欠如に対処するために、アナログビデオテープで一般的に見られる劣化パターンに近いアーティファクトを持つ合成データセットを作成しました。定量的および定性的評価実験により、当社の手法が他の最先端手法と比較して有効であることが示されています。コード、モデル、および合成データセットは公開されており、https://github.com/miccunifi/TAPE からアクセスできます。