Verwenden Sie Real-ESRGAN, Um Die Qualität Von Festnetzbildern Zu Speichern Und Ihre Eigenen HD-Animationsressourcen Zu Erstellen

Inhalt auf einen Blick: Real-ESRGAN ist eine Weiterentwicklung von ESRGAN mit drei wesentlichen Neuerungen: Es wird ein Degradationsprozess höherer Ordnung vorgeschlagen, um die tatsächliche Bilddegradation zu simulieren, unter Verwendung der spektralen Normalisierung U-Net
Discriminator steigert die Leistungsfähigkeit des Diskriminators ebenso wie das Training mit rein synthetischen Daten. Schlüsselwörter: Real-ESRGAN, Videowiederherstellung mit Superauflösung
Dieser Artikel wurde zuerst auf dem offiziellen WeChat-Konto HyperAI veröffentlicht.

Im Vergleich zu den heutigen neuen Animationen mit ihren hervorragenden und schönen Bildern weisen alte Animationen aufgrund der damaligen technischen und gerätetechnischen Einschränkungen eine schlechte Bildqualität und eine niedrige Auflösung auf. Aber diejenigen mit qualitativ hochwertigen Inhalten,Die Zeichentrickklassiker aus der Kindheit werden vom Publikum immer noch hervorgeholt und immer wieder angeschaut.

Immer wenn klassische Anime-Videos in 4K restauriert werden, bleibt die Anzahl der Aufrufe auf Video-Websites hoch.Die hochwertigen Bilder und der klassische Inhalt reichen aus, um beide Fans in Ekstase zu versetzen.

4K-restaurierte Videos auf Bilibili sind äußerst beliebt

Dieses Tutorial stellt vor, wie Sie mit Real-ESRGAN Anime-Videos superoptimieren und die Videoqualität wiederherstellen.Das Tutorial kann auf der Cloud-Plattform OpenBayes ausgeführt werden und ist nicht von der Gerätekonfiguration abhängig. Genießen Sie ganz einfach das Vergnügen, das 1080P-Videos mit sich bringen.

Real-ESRGAN: Ein blindes Superauflösungsmodell aus Liebe zur zweiten Dimension

Bei der traditionellen Animationsproduktion zeichnen Animatoren zunächst jedes Bild von Hand, nehmen es dann mit einer Kamera auf und scannen es zur digitalen Verarbeitung in einen Computer.Die Qualität der Aufnahmeausrüstung, die Komprimierung der auf die Videoplattform hochgeladenen Animation und unvorhersehbares Rauschen sind komplexe Faktoren. Dies wirkt sich auf die Bildwirkung der Animation aus.

Die Ursachen für die Bildverschlechterung in der realen Welt sind sehr komplex, weshalb nicht-blinde Superauflösungsalgorithmen wie ESRGAN bei der Bildwiederherstellung nicht sehr effektiv sind.Daher ist eine blinde Superauflösung erforderlich, um eine Superauflösungsverbesserung bei Bildern mit niedriger Auflösung und unbekanntem Verschlechterungstyp durchzuführen.

Die blinde Superauflösung wird hauptsächlich in zwei Arten von Methoden unterteilt: explizite Modellierung und implizite Modellierung.

Explizite Modellierung

Der Unschärfekernel und die Rauschinformationen werden parametrisiert und der Bildverschlechterungsprozess, einschließlich Rauschen, Unschärfe, Downsampling und Komprimierung, wird anhand von Vorkenntnissen geschätzt. Eine einfache Kombination mehrerer Verschlechterungen kann die tatsächliche Bildverschlechterung jedoch nicht gut beschreiben.

Implizite Modellierung

Anstatt sich auf explizite Parameter zu verlassen, nutzt es zusätzliche Daten, um über die Datenverteilung implizit ein latentes Superauflösungsmodell zu erlernen.

Die Autoren von Real-ESRGAN bezeichnen explizite Modellierung als Modellierung erster Ordnung. Die Modellierung der Degradation erster Ordnung ist für die Anpassung an komplexe Degradationen schwierig.Die Autoren schlugen ein Degradationsmodell höherer Ordnung vor. In diesem Modell enthält das n-Ordnungsmodell n wiederholte Degradationsprozesse, von denen jeder dem klassischen Modell folgt:

x = Dn(y) = (Dn ◦ · · · ◦ D2 ◦ D1)(y)

Die Autoren verwendeten in der Arbeit einen Degradationsprozess zweiter Ordnung.Dadurch bleibt es einfach und die meisten praktischen Probleme werden gelöst.

Real-ESRGAN wird vollständig mit synthetischen Daten trainiert. Beim Generieren von hochauflösenden und niedrig auflösenden Datenpaaren führt das Modell eine viermalige Herunterskalierung des Eingabebilds durch (unterabgetastetes oder verkleinertes Bild) und setzt die Herunterskalierung dann um das Ein- oder Zweifache fort.

Real-ESRGAN verwendet dieselbe Struktur wie ESRGAN

Um den Rechenaufwand zu reduzieren,Der Autor hat als Innovation die Pixel-Unshuffle-Operation vorgeschlagen. Reduzieren Sie die Eingangsauflösung und erhöhen Sie die Anzahl der Kanäle.

Beim Generieren von hochauflösenden und niedrig auflösenden Datenpaaren verwendet das Dokument einen unscharfen Kernel zur Faltung, führt dann eine Downsampling-Operation des Bildes um den Faktor r durch, fügt Rauschen hinzu und führt schließlich eine JPEG-Komprimierung durch.Diese Vorgänge simulieren die reale Situation, in der Bilder während der Übertragung mehrfach komprimiert werden.

Real-ESRGAN verwendet mehrere Methoden zur Bildverschlechterung

Im Vergleich zu ESRGAN verarbeitet Real-ESRGAN verschwommene Bilder besser und erhielt den Honorable Paper Nomination Award bei ICCV AIM 2021.

Einzelheiten finden Sie im Code.

Link zum Artikel

Real-ESRGAN in Aktion: Alte Animationen übersichtlicher gestalten

Dieses Tutorial zeigt, wie Sie mit dem Real-ESRGAN-Algorithmus auf OpenBayes eine Bildverbesserung erzielen und alte Animationsvideos klarer gestalten.

Vollständiges Tutorial

Schritt 1: Umgebungsvorbereitung

# !git clone https://github.com/xinntao/Real-ESRGAN.git
%cd Real-ESRGAN
!pip install basicsr
!pip install facexlib
!pip install gfpgan
!pip install ffmpeg-python
!pip install -r requirements.txt
!python setup.py develop

Schritt 2 Argumentation

# ! python inference_realesrgan_video.py -i inputs/video/onepiece_demo.mp4 -n RealESRGANv2-animevideo-xsx2 -s 4 -v -a --half --suffix outx2
! python inference_realesrgan_video.py -i /openbayes/home/results.mp4 -n RealESRGANv2-animevideo-xsx2 -s 4 -v --half --suffix outtsx2
# 参数
# -i, --input: 输入视频
# -n, --model_name: 使用的模型名字
# -s, --outscale: 放大尺度
# -v, --video: 将增强的帧转换回视频中
# -a, --audio: 将输入的音频复制到增强的视频中
# --half: 推理半精度
# -suffix: 输出视频的后缀

Schritt 3 Visualisierung

from IPython.display import HTML
from base64 import b64encode

def show_video(video_path, video_width = 600):

  video_file = open(video_path, "r+b").read()

  video_url = f"data:video/mp4;base64,{b64encode(video_file).decode()}"
  return HTML(f"""<video width={video_width} controls><source src="{video_url}"></video>""")

# 输入视频
show_video('inputs/video/onepiece_demo.mp4')

# 增强后的视频
show_video('results/onepiece_demo_outx2.mp4')

Vollständiges Tutorial

Videoerklärungen zu bestimmten Verarbeitungseffekten und Tutorials,Klicken Sie hier, um anzuzeigen

Das Obige ist der gesamte Inhalt dieses Tutorials. Es ist besser zu handeln, als sich bewegen zu lassen. Was war Ihre Traum-Liebesgeschichte in der Kindheit? Klonen Sie schnell das Tutorial „Real-ESRGAN Anime Video Super Resolution“ auf OpenBayes und erstellen Sie Ihre eigenen klaren Videos ~

Hinweis: Selbst erstellte hochauflösende Inhalte sind nur für den persönlichen Lerngebrauch bestimmt

Referenzlinks:
https://zhuanlan.zhihu.com/p/431612275
https://zhuanlan.zhihu.com/p/558893171

-- über--