2ヶ月前
損傷の逆転:コーデック圧縮下での8Kビデオ復元のQP対応トランスフォーマー拡散アプローチ
Dehaghi, Ali Mollaahmadi ; Razavi, Reza ; Moshirpour, Mohammad

要約
本論文では、DiQP(Deep Image Quality Promotion)について紹介します。これは、コーデック圧縮によって劣化した8Kビデオの品質を復元するための新しいTransformer-Diffusionモデルです。当方の知識に基づく限り、当モデルは様々なコーデック(AV1、HEVC)によって導入されるアーティファクトをDenoising Diffusionにより復元することに初めて焦点を当てたものであり、追加のノイズを考えないでいます。この手法により、圧縮アーティファクトの複雑で非ガウス的な性質をモデル化し、効果的に劣化を逆転させることができます。当モデルのアーキテクチャは、長距離依存関係を捉えるTransformerの力を結集し、フレーム間でのピクセル群内の空間時間的コンテキストを保つ強化されたウィンドウメカニズムを組み合わせています。さらに、復元性能を向上させるために、「Look Ahead」モジュールと「Look Around」モジュールという補助モジュールが統合されており、これにより未来および周辺フレーム情報を提供して細部の再構築と全体的な視覚品質向上に貢献します。異なるデータセットにおける広範な実験結果から、当モデルが最先端の方法よりも優れていることが示されています。特に4Kや8Kなどの高解像度ビデオにおいてその有効性が顕著であり、高圧縮ソースからの知覚的に快適なビデオの復元能力を証明しています。