Real-ESRGAN を使用して固定電話の画質を保存し、独自の高解像度アニメーション リソースを作成します

2 年前

情報

OpenCV

ビデオオーバースコア

Jiaxin Sun

特色图像

内容の概要: Real-ESRGAN は ESRGAN のアップグレードであり、実際の画像劣化をシミュレートする高次の劣化プロセスを提案し、スペクトル正規化 U-Net を使用するという 3 つの主な革新があります。
Discriminator は、Discriminator の能力を高め、純粋に合成データを使用してトレーニングされます。 キーワード: Real-ESRGAN 超解像度ビデオ復元
この記事は、WeChat パブリック アカウントで最初に公開されました: HyperAI Super Neural

優れた美しい映像を備えた今日の新しい番組と比較すると、古いアニメーションは、当時の技術や機器の限界により、画質が悪く、解像度が低くなります。しかし内容はクオリティが高く、子供の頃に見た古典的な古いアニメは、今でも観客が「元気を出させる」ために取り出して繰り返し見ます。

名作アニメビデオが 4K で復元されるたびに、動画サイトでの再生回数は高いままです。高画質とクラシックなコンテンツは、「二人のシェフ」を夢中にさせるのに十分です。

写真 Bilibili の 4K 修復ビデオは非常に人気があります

このチュートリアルでは、Real-ESRGAN を使用してアニメーション ビデオを超最適化し、ビデオ品質を修復する方法を紹介します。このチュートリアルは、クラウド プラットフォーム OpenBayes 上で実行でき、デバイス構成には依存しません。 1080Pビデオの楽しさを簡単に楽しんでください。

Real-ESRGAN: 2 次元のブラインド超解像度モデルが大好き

従来のアニメーション制作では、アニメーターはまず各絵を手で描き、次にカメラ機器を使用してその絵をキャプチャし、デジタル処理のためにスキャンしてコンピューターに取り込みます。撮影機材の品質、動画プラットフォームにアップロードするアニメーションの圧縮、予測できないノイズなどの複雑な要因。 アニメーションの画像効果に影響します。

現実世界における画像劣化の原因は非常に複雑であるため、ESRGAN などの非ブラインド超解像度アルゴリズムは画像の復元には効果がありません。したがって、劣化タイプが不明な低解像度画像に対しては、Blind Super-Resolution を使用して超解像強調を行う必要があります。

ブラインド超解像は主に、明示的モデリング (Explicit Modelling) と暗黙的モデリング (Implicit Modelling) の 2 つのカテゴリに分類されます。

明示的なモデリング

ブラー カーネルとノイズ情報はパラメータ化されており、ノイズ、ブラー、ダウンサンプリング、圧縮などの事前知識を通じて画像の劣化プロセスが推定されます。しかし、単にいくつかの劣化を組み合わせるだけでは、現実世界の画像劣化にはうまく適合しません。

暗黙的なモデリング

明示的なパラメーターに依存せず、追加データを使用して、データ配布を通じて潜在的な超解像度モデルを暗黙的に学習します。

Real-ESRGAN の作成者は、明示的モデリングを 1 次モデリングと呼んでいます。一次劣化モデリングは複雑な劣化に適合することが困難であり、著者は高次の劣化モデルを提案します。 このモデルでは、n 次モデルに n 回繰り返される劣化プロセスが含まれており、各プロセスは古典的なモデルに従います。

x = Dn(y) = (Dn ◦ · · · ◦ D2 ◦ D1)(y)

この論文では、著者は二次劣化プロセスを使用しています。これにより、ほとんどの実際的な問題が解決されながら、単純さが維持されます。

Real-ESRGAN は完全に合成データを使用してトレーニングされます。 高解像度データと低解像度データのペアを生成するとき、モデルは入力画像の 4 倍のダウンサンプリング (サブサンプリングまたは縮小された画像) に加えて 1 倍または 2 倍のダウンサンプリングを実行します。

写真
Real-ESRGAN は ESRGAN と同じ構造を使用します

計算量を減らすために、著者はピクセルアンシャッフル操作を革新的に提案しました。 入力解像度を下げてチャンネルを増やします。

高解像度データと低解像度データのペアを生成する際、論文では畳み込みにファジー カーネルを使用し、画像を r 倍ダウンサンプリングしてノイズを追加し、最後に jpeg 圧縮を実行します。これらの操作は、伝播中に画像が複数回圧縮される実際の状況を模倣します。

写真
Real-ESRGAN は複数の画像劣化方法を使用します

ESRGAN と比較して、Real-ESRGAN はぼやけた画像をより適切に処理し、2021 ICCV AIM で名誉論文ノミネート賞を受賞しました。

詳細についてはコードを参照してください

ペーパーリンク

Real-ESRGAN 実践運用: 古いファンを明確にする

このチュートリアルでは、Real-ESRGAN アルゴリズムを使用して画像を強化し、古いアニメーション ビデオをより鮮明にする OpenBayes 上でのデモを行います。

チュートリアルを完了する

ステップ1 環境の準備

# !git clone https://github.com/xinntao/Real-ESRGAN.git
%cd Real-ESRGAN
!pip install basicsr
!pip install facexlib
!pip install gfpgan
!pip install ffmpeg-python
!pip install -r requirements.txt
!python setup.py develop

ステップ 2 推論

# ! python inference_realesrgan_video.py -i inputs/video/onepiece_demo.mp4 -n RealESRGANv2-animevideo-xsx2 -s 4 -v -a --half --suffix outx2
! python inference_realesrgan_video.py -i /openbayes/home/results.mp4 -n RealESRGANv2-animevideo-xsx2 -s 4 -v --half --suffix outtsx2
# 参数
# -i, --input: 输入视频
# -n, --model_name: 使用的模型名字
# -s, --outscale: 放大尺度
# -v, --video: 将增强的帧转换回视频中
# -a, --audio: 将输入的音频复制到增强的视频中
# --half: 推理半精度
# -suffix: 输出视频的后缀

ステップ 3 視覚化

from IPython.display import HTML
from base64 import b64encode

def show_video(video_path, video_width = 600):

  video_file = open(video_path, "r+b").read()

  video_url = f"data:video/mp4;base64,{b64encode(video_file).decode()}"
  return HTML(f"""<video width={video_width} controls><source src="{video_url}"></video>""")

# 输入视频
show_video('inputs/video/onepiece_demo.mp4')
# 增强后的视频
show_video('results/onepiece_demo_outx2.mp4')

チュートリアルを完了する

具体的な加工効果の動画解説やチュートリアル、クリックして表示

上記はこのチュートリアルの全内容です。アクションはアクションよりも悪いです。あなたの子供の頃の夢のラブストーリーは何ですか? OpenBayes の「Real-ESRGAN 超解像度アニメーション ビデオ」チュートリアルをすばやくクローンして、独自の鮮明なビデオを作成してください~

注: 高解像度の自作コンテンツは、個人的な学習および使用にのみ利用できます。

参考リンク:
https://zhuanlan.zhihu.com/p/431612275
https://zhuanlan.zhihu.com/p/558893171

- 以上 -