HyperAI超神经

한눈에 보는 내용: Real-ESRGAN은 ESRGAN의 업그레이드 버전으로, 스펙트럼 정규화를 사용하여 실제 이미지 저하를 시뮬레이션하는 고차 저하 프로세스를 제안하고 U-Net을 사용하는 등 세 가지 주요 혁신이 있습니다.
판별기는 순수하게 합성된 데이터로 훈련하는 것과 동시에 판별기의 능력을 향상시킵니다. 키워드: Real-ESRGAN, 초고해상도 영상 복원
본 기사는 WeChat 공식 계정 HyperAI에 처음 게시되었습니다.

오늘날의 새로운 애니메이션은 뛰어나고 아름다운 화면을 보여주는 반면, 오래된 애니메이션은 당시의 기술적, 장비적 제약으로 인해 화질이 좋지 않고 해상도가 낮습니다. 하지만 고품질 콘텐츠를 보유한 사람들은어린 시절의 고전 만화는 오늘날에도 관객들에 의해 계속해서 반복해서 시청됩니다.

고전 애니메이션 영상이 4K로 복원될 때마다 동영상 웹사이트의 조회수는 여전히 높습니다.고화질 이미지와 고전적인 콘텐츠는 두 팬을 모두 기쁘게 하기에 충분합니다.

빌리빌리의 4K 복원 영상은 엄청난 인기를 끌고 있습니다.

이 튜토리얼에서는 Real-ESRGAN을 사용하여 애니메이션 비디오를 최적화하고 비디오 품질을 복원하는 방법을 소개합니다.튜토리얼은 클라우드 플랫폼 OpenBayes에서 실행할 수 있으며 장치 구성에 의존하지 않습니다. 1080P 영상이 선사하는 행복을 간편하게 즐겨보세요.

Real-ESRGAN: 2차원에 대한 사랑을 위한 맹목적인 초고해상도 모델

전통적인 애니메이션 제작에서는 애니메이터가 먼저 각 프레임을 손으로 그린 다음, 카메라를 사용하여 프레임을 캡처한 후 컴퓨터로 스캔하여 디지털 처리합니다.촬영 장비의 품질, 비디오 플랫폼에 업로드되는 애니메이션의 압축, 예측할 수 없는 노이즈 등은 복잡한 요소입니다. 이는 애니메이션의 이미지 효과에 영향을 미칩니다.

실제 세계에서 이미지 저하의 원인은 매우 복잡하기 때문에 ESRGAN과 같은 블라인드가 아닌 초고해상도 알고리즘은 이미지 복원에 그다지 효과적이지 않습니다.따라서, 알려지지 않은 저하 유형의 저해상도 이미지에 대한 초고해상도 향상을 수행하려면 블라인드 초고해상도가 필요합니다.

블라인드 초해상도는 크게 명시적 모델링과 암묵적 모델링의 두 가지 방법으로 나뉜다.

명시적 모델링

블러 커널과 노이즈 정보는 매개변수화되고, 노이즈, 블러, 다운샘플링, 압축을 포함한 이미지 저하 과정은 사전 지식을 통해 추정됩니다. 하지만 단순히 여러 가지 저하를 결합하는 것만으로는 실제 이미지 저하를 제대로 표현할 수 없습니다.

암묵적 모델링

명시적인 매개변수에 의존하는 대신, 추가 데이터를 활용하여 데이터 분포를 통해 잠재적인 초고해상도 모델을 암묵적으로 학습합니다.

Real-ESRGAN의 저자는 명시적 모델링을 1차 모델링이라고 부릅니다. 1차 저하 모델링은 복잡한 저하에 적용하기 어렵습니다.저자들은 고차원 저하 모델을 제안했다. 이 모델에서 n차 모델은 n개의 반복적인 분해 과정을 포함하며, 각 과정은 다음과 같은 고전적 모델을 따릅니다.

x = Dn(y) = (Dn ◦ · · · ◦ D2 ◦ D1)(y)

저자는 논문에서 2차 분해 과정을 사용했습니다.이렇게 하면 대부분의 실질적인 문제를 해결하는 동시에 간단하게 만들 수 있습니다.

Real-ESRGAN은 전적으로 합성 데이터를 사용하여 훈련되었습니다. 고화질 및 저화질 데이터 쌍을 생성할 때, 모델은 입력 이미지를 4배로 다운샘플링하고(서브샘플링 또는 축소된 이미지), 그 후 1배 또는 2배로 계속해서 다운샘플링합니다.

Real-ESRGAN은 ESRGAN과 동일한 구조를 사용합니다.

계산량을 줄이기 위해,저자는 혁신적으로 Pixel Unshuffle 연산을 제안했습니다. 입력 해상도를 낮추고 채널 수를 늘리세요.

고화질 및 저화질 데이터 쌍을 생성할 때 이 논문에서는 합성곱을 위해 흐릿한 커널을 사용한 다음, 이미지를 r의 인수로 다운샘플링하고 노이즈를 추가한 후 마지막으로 JPEG 압축을 수행합니다.이러한 작업은 전송 중에 이미지가 여러 번 압축되는 실제 상황을 모방한 것입니다.

Real-ESRGAN은 다양한 이미지 저하 방법을 사용합니다.

ESRGAN과 비교했을 때 Real-ESRGAN은 흐릿한 이미지를 더 잘 처리하며 ICCV AIM 2021에서 우수 논문 후보로 지명되었습니다.

자세한 내용은 코드를 참조하세요.

논문 링크

실제 ESRGAN 활용: 오래된 애니메이션을 더 선명하게 만들기

이 튜토리얼에서는 OpenBayes에서 Real-ESRGAN 알고리즘을 사용하여 이미지를 향상시키고 오래된 애니메이션 비디오를 더 선명하게 만드는 방법을 보여줍니다.

전체 튜토리얼

1단계: 환경 준비

# !git clone https://github.com/xinntao/Real-ESRGAN.git
%cd Real-ESRGAN
!pip install basicsr
!pip install facexlib
!pip install gfpgan
!pip install ffmpeg-python
!pip install -r requirements.txt
!python setup.py develop

2단계 추론

# ! python inference_realesrgan_video.py -i inputs/video/onepiece_demo.mp4 -n RealESRGANv2-animevideo-xsx2 -s 4 -v -a --half --suffix outx2
! python inference_realesrgan_video.py -i /openbayes/home/results.mp4 -n RealESRGANv2-animevideo-xsx2 -s 4 -v --half --suffix outtsx2
# 参数
# -i, --input: 输入视频
# -n, --model_name: 使用的模型名字
# -s, --outscale: 放大尺度
# -v, --video: 将增强的帧转换回视频中
# -a, --audio: 将输入的音频复制到增强的视频中
# --half: 推理半精度
# -suffix: 输出视频的后缀

3단계 시각화

from IPython.display import HTML
from base64 import b64encode

def show_video(video_path, video_width = 600):

  video_file = open(video_path, "r+b").read()

  video_url = f"data:video/mp4;base64,{b64encode(video_file).decode()}"
  return HTML(f"""<video width={video_width} controls><source src="{video_url}"></video>""")

# 输入视频
show_video('inputs/video/onepiece_demo.mp4')

# 增强后的视频
show_video('results/onepiece_demo_outx2.mp4')

전체 튜토리얼

특정 처리 효과와 튜토리얼에 대한 비디오 설명,클릭하여 보기

위에 적힌 내용이 이 튜토리얼의 전부입니다. 움직이는 것보다 행동하는 것이 낫다. 어린 시절 당신이 꿈꾸던 사랑 이야기는 무엇이었나요? OpenBayes에서 "Real-ESRGAN Anime Video Super Resolution" 튜토리얼을 빠르게 복제하여 나만의 선명한 영상을 만들어 보세요~

참고사항: 고화질 자체제작 콘텐츠는 개인 학습용으로만 사용 가능합니다.

참조 링크:
https://zhuanlan.zhihu.com/p/431612275
https://zhuanlan.zhihu.com/p/558893171

-- 위에--

Real-ESRGAN을 사용하면 유선전화 이미지의 품질을 저장하고 나만의 HD 애니메이션 리소스를 만들 수 있습니다.

Real-ESRGAN: 2차원에 대한 사랑을 위한 맹목적인 초고해상도 모델

명시적 모델링

암묵적 모델링

실제 ESRGAN 활용: 오래된 애니메이션을 더 선명하게 만들기