HyperAI
AccueilActualitésTutorielsEnsembles de donnéesÉvénementsWikiSOTAModèles LLM
Recherche
À propos
HyperAI

Utilisez Real-ESRGAN Pour Sauvegarder La Qualité Des Images Fixes Et Créer Vos Propres Ressources D'animation HD

il y a 2 ans
Information
OpenCV
Vidéo Super Résolution
Jiaxin Sun
特色图像

Aperçu du contenu : Real-ESRGAN est une mise à niveau d'ESRGAN, avec trois innovations principales : proposer un processus de dégradation d'ordre élevé pour simuler la dégradation réelle de l'image, en utilisant la normalisation spectrale U-Net
Le discriminateur augmente la capacité du discriminateur ainsi que la formation avec des données purement synthétiques. Mots-clés : Real-ESRGAN, restauration vidéo en super-résolution
Cet article a été publié pour la première fois sur le compte officiel de WeChat : HyperAI

Comparées aux nouvelles animations d'aujourd'hui avec des images excellentes et belles, les anciennes animations ont une qualité d'image médiocre et une faible résolution en raison des limitations techniques et matérielles de l'époque. Mais ceux qui ont un contenu de haute qualité,Les dessins animés classiques de l'enfance sont toujours sortis et regardés encore et encore par le public.

Chaque fois que des vidéos d'anime classiques sont restaurées en 4K, le nombre de vues sur les sites Web de vidéos reste élevé.Les images de haute qualité et le contenu classique suffisent à rendre les deux fans ravis.

image Les vidéos restaurées en 4K sur Bilibili sont extrêmement populaires

Ce tutoriel présente comment utiliser Real-ESRGAN pour optimiser au maximum les vidéos d'anime et restaurer la qualité vidéo.Le didacticiel peut être exécuté sur la plateforme cloud OpenBayes et ne dépend pas de la configuration de l'appareil. Profitez facilement du bonheur apporté par la vidéo 1080P.

Real-ESRGAN : Un modèle de super-résolution aveugle pour l'amour de la deuxième dimension

Dans la production d'animation traditionnelle, les animateurs dessinent d'abord chaque image à la main, puis utilisent une caméra pour capturer l'image et la numériser dans un ordinateur pour un traitement numérique.La qualité du matériel de tournage, la compression de l’animation téléchargée sur la plateforme vidéo et le bruit imprévisible sont des facteurs complexes. Cela affectera l'effet d'image de l'animation.

Les causes de la dégradation des images dans le monde réel sont très complexes, ce qui rend les algorithmes de super-résolution non aveugles, tels que ESRGAN, peu efficaces pour restaurer les images.Par conséquent, une super-résolution aveugle est nécessaire pour effectuer une amélioration de la super-résolution sur des images à basse résolution de type de dégradation inconnu.

La super-résolution aveugle est principalement divisée en deux types de méthodes : la modélisation explicite et la modélisation implicite.

Modélisation explicite

Le noyau de flou et les informations sur le bruit sont paramétrés, et le processus de dégradation de l'image, y compris le bruit, le flou, le sous-échantillonnage et la compression, est estimé grâce à des connaissances préalables. Mais la simple combinaison de plusieurs dégradations ne permet pas de bien refléter la dégradation de l’image dans le monde réel.

Modélisation implicite

Au lieu de s'appuyer sur des paramètres explicites, il exploite des données supplémentaires pour apprendre implicitement un modèle de super-résolution latente via la distribution des données.

Les auteurs de Real-ESRGAN qualifient la modélisation explicite de modélisation de premier ordre. La modélisation de la dégradation du premier ordre est difficile à adapter à la dégradation complexe.Les auteurs ont proposé un modèle de dégradation d’ordre élevé. Dans ce modèle, le modèle d'ordre n contient n processus de dégradation répétés, chacun suivant le modèle classique :

x = Dn(y) = (Dn ◦ · · · ◦ D2 ◦ D1)(y)

Les auteurs ont utilisé un processus de dégradation de second ordre dans l’article.Cela permet de rester simple tout en résolvant la plupart des problèmes pratiques.

Real-ESRGAN est entièrement formé à l'aide de données synthétiques. Lors de la génération de paires de données haute définition et basse définition, le modèle sous-échantillonne l'image d'entrée de 4 fois (image sous-échantillonnée ou réduite), puis continue de sous-échantillonner de 1 ou 2 fois.

image
Real-ESRGAN utilise la même structure que ESRGAN

Pour réduire la quantité de calcul,L'auteur a proposé de manière innovante l'opération Pixel Unshuffle. Réduisez la résolution d’entrée et augmentez le nombre de canaux.

Lors de la génération de paires de données haute définition et basse définition, l'article utilise un noyau flou pour la convolution, puis sous-échantillonne l'image d'un facteur r, ajoute du bruit et effectue enfin une compression JPEG.Ces opérations imitent la situation réelle où les images sont compressées plusieurs fois pendant la transmission.

image
Real-ESRGAN utilise plusieurs méthodes de dégradation d'image

Comparé à ESRGAN, Real-ESRGAN gère mieux les images floues et a reçu le prix Honorable Paper Nomination Award à l'ICCV AIM 2021.

Voir le code pour plus de détails

Lien vers le document

Real-ESRGAN en action : clarifier les anciennes animations

Ce tutoriel montrera comment utiliser l'algorithme Real-ESRGAN sur OpenBayes pour améliorer l'image et rendre les anciennes vidéos d'animation plus claires.

Tutoriel complet

Étape 1 : Préparation de l'environnement

# !git clone https://github.com/xinntao/Real-ESRGAN.git
%cd Real-ESRGAN
!pip install basicsr
!pip install facexlib
!pip install gfpgan
!pip install ffmpeg-python
!pip install -r requirements.txt
!python setup.py develop

Étape 2 Raisonnement

# ! python inference_realesrgan_video.py -i inputs/video/onepiece_demo.mp4 -n RealESRGANv2-animevideo-xsx2 -s 4 -v -a --half --suffix outx2
! python inference_realesrgan_video.py -i /openbayes/home/results.mp4 -n RealESRGANv2-animevideo-xsx2 -s 4 -v --half --suffix outtsx2
# 参数
# -i, --input: 输入视频
# -n, --model_name: 使用的模型名字
# -s, --outscale: 放大尺度
# -v, --video: 将增强的帧转换回视频中
# -a, --audio: 将输入的音频复制到增强的视频中
# --half: 推理半精度
# -suffix: 输出视频的后缀

Étape 3 Visualisation

from IPython.display import HTML
from base64 import b64encode

def show_video(video_path, video_width = 600):

  video_file = open(video_path, "r+b").read()

  video_url = f"data:video/mp4;base64,{b64encode(video_file).decode()}"
  return HTML(f"""<video width={video_width} controls><source src="{video_url}"></video>""")

# 输入视频
show_video('inputs/video/onepiece_demo.mp4')
# 增强后的视频
show_video('results/onepiece_demo_outx2.mp4')

Tutoriel complet

Explication vidéo des effets de traitement spécifiques et tutoriels,Cliquez pour voir

Ce qui précède est tout le contenu de ce tutoriel. Il vaut mieux agir que d’être ému. Quelle était l’histoire d’amour de vos rêves lorsque vous étiez enfant ? Clonez rapidement le didacticiel « Real-ESRGAN Anime Video Super Resolution » sur OpenBayes et créez vos propres vidéos claires~

Remarque : le contenu haute définition créé par vos soins est uniquement destiné à un usage d'apprentissage personnel.

Liens de référence :
https://zhuanlan.zhihu.com/p/431612275
https://zhuanlan.zhihu.com/p/558893171

-- sur--