HyperAI超神经

نظرة عامة على المحتويات: Real-ESRGAN هو ترقية لـ ESRGAN، مع ثلاثة ابتكارات رئيسية: اقتراح عملية تدهور عالية المستوى لمحاكاة تدهور الصورة الفعلي، باستخدام التطبيع الطيفي U-Net
يعمل المميز على زيادة قدرة المميز بالإضافة إلى التدريب باستخدام بيانات اصطناعية بحتة. الكلمات الرئيسية: Real-ESRGAN، استعادة الفيديو فائق الدقة
تم نشر هذه المقالة لأول مرة على الحساب الرسمي لـ WeChat: HyperAI

بالمقارنة مع الرسوم المتحركة الجديدة اليوم ذات الصور الممتازة والجميلة، فإن الرسوم المتحركة القديمة لديها جودة صورة رديئة ودقة منخفضة بسبب القيود التقنية والمعدات في ذلك الوقت. ولكن أولئك الذين لديهم محتوى عالي الجودة،لا تزال الرسوم المتحركة الكلاسيكية من مرحلة الطفولة تُعرض ويشاهدها الجمهور مرارًا وتكرارًا.

عندما يتم استعادة مقاطع فيديو الأنمي الكلاسيكية إلى 4K، يظل عدد المشاهدات على مواقع الفيديو مرتفعًا.الصور عالية الجودة والمحتوى الكلاسيكي كافية لجعل كلا المشجعين في غاية النشوة.

تحظى مقاطع الفيديو المُستعادة بدقة 4K على Bilibili بشعبية كبيرة

يقدم هذا البرنامج التعليمي كيفية استخدام Real-ESRGAN لتحسين مقاطع فيديو الأنمي بشكل كبير واستعادة جودة الفيديو.يمكن تشغيل البرنامج التعليمي على منصة السحابة OpenBayes ولا يعتمد على تكوين الجهاز. استمتع بسهولة بالسعادة التي يجلبها فيديو 1080P.

Real-ESRGAN: نموذج فائق الدقة أعمى لحب البعد الثاني

في إنتاج الرسوم المتحركة التقليدية، يقوم رسامو الرسوم المتحركة أولاً برسم كل إطار يدويًا، ثم يستخدمون الكاميرا لالتقاط الإطار ومسحه ضوئيًا في الكمبيوتر للمعالجة الرقمية.إن جودة معدات التصوير، وضغط الرسوم المتحركة التي يتم تحميلها على منصة الفيديو، والضوضاء غير المتوقعة هي عوامل معقدة. سيؤثر ذلك على تأثير صورة الرسوم المتحركة.

إن أسباب تدهور الصورة في العالم الحقيقي معقدة للغاية، مما يجعل خوارزميات الدقة الفائقة غير العمياء، مثل ESRGAN، غير فعالة للغاية في استعادة الصور.لذلك، هناك حاجة إلى دقة فائقة عمياء لأداء تعزيز الدقة الفائقة على الصور منخفضة الدقة من نوع التدهور غير المعروف.

تنقسم الدقة الفائقة العمياء بشكل أساسي إلى نوعين من الطرق: النمذجة الصريحة والنمذجة الضمنية.

النمذجة الصريحة

يتم تحديد معلمات نواة الضبابية ومعلومات الضوضاء، ويتم تقدير عملية تدهور الصورة، بما في ذلك الضوضاء والضبابية وتقليل العينات والضغط، من خلال المعرفة السابقة. لكن الجمع بين عدة تدهورات ببساطة لا يمكن أن يتناسب بشكل جيد مع تدهور الصورة في العالم الحقيقي.

النمذجة الضمنية

بدلاً من الاعتماد على أي معلمات صريحة، فإنه يستفيد من البيانات الإضافية لتعلم نموذج الدقة الفائقة الكامن ضمناً عبر توزيع البيانات.

يشير مؤلفو Real-ESRGAN إلى النمذجة الصريحة باعتبارها نمذجة من الدرجة الأولى. من الصعب أن تتناسب نمذجة التدهور من الدرجة الأولى مع التدهور المعقد.واقترح المؤلفون نموذجًا للتدهور عالي الدرجة. في هذا النموذج، يحتوي نموذج الترتيب n على n عملية تحلل متكررة، كل منها تتبع النموذج الكلاسيكي:

x = Dn(y) = (Dn ◦ · · · ◦ D2 ◦ D1)(y)

استخدم المؤلفون عملية تحلل من الدرجة الثانية في بحثهم.وهذا يبقي الأمر بسيطًا مع حل معظم المشكلات العملية.

يتم تدريب Real-ESRGAN بالكامل باستخدام البيانات الاصطناعية. عند إنشاء أزواج بيانات عالية الدقة ومنخفضة الدقة، يقوم النموذج بتخفيض عينة الصورة المدخلة بمقدار 4 مرات (صورة تم أخذ عينة منها أو تقليصها)، ثم يستمر في تخفيض العينة بمقدار 1 أو 2 مرة.

يستخدم Real-ESRGAN نفس البنية مثل ESRGAN

لتقليل كمية الحساب،اقترح المؤلف بشكل مبتكر عملية Pixel Unshuffle. تقليل دقة الإدخال وزيادة عدد القنوات.

عند إنشاء أزواج بيانات عالية الدقة ومنخفضة الدقة، تستخدم الورقة نواة ضبابية للالتفاف، ثم تقوم بتخفيض حجم الصورة بعامل r، وتضيف الضوضاء، وأخيرًا تقوم بضغط JPEG.تحاكي هذه العمليات الموقف الحقيقي حيث يتم ضغط الصور عدة مرات أثناء النقل.

يستخدم Real-ESRGAN طرقًا متعددة لتدهور الصورة

بالمقارنة مع ESRGAN، يتعامل Real-ESRGAN مع الصور الضبابية بشكل أفضل وحصل على جائزة ترشيح الورقة البحثية المشرفة في ICCV AIM 2021.

انظر الكود للحصول على التفاصيل

رابط الورقة

Real-ESRGAN في العمل: جعل الرسوم المتحركة القديمة أكثر وضوحًا

سوف يوضح هذا البرنامج التعليمي كيفية استخدام خوارزمية Real-ESRGAN على OpenBayes لتحقيق تحسين الصورة وجعل مقاطع الفيديو المتحركة القديمة أكثر وضوحًا.

البرنامج التعليمي الكامل

الخطوة 1: إعداد البيئة

# !git clone https://github.com/xinntao/Real-ESRGAN.git
%cd Real-ESRGAN
!pip install basicsr
!pip install facexlib
!pip install gfpgan
!pip install ffmpeg-python
!pip install -r requirements.txt
!python setup.py develop

الخطوة 2 الاستدلال

# ! python inference_realesrgan_video.py -i inputs/video/onepiece_demo.mp4 -n RealESRGANv2-animevideo-xsx2 -s 4 -v -a --half --suffix outx2
! python inference_realesrgan_video.py -i /openbayes/home/results.mp4 -n RealESRGANv2-animevideo-xsx2 -s 4 -v --half --suffix outtsx2
# 参数
# -i, --input: 输入视频
# -n, --model_name: 使用的模型名字
# -s, --outscale: 放大尺度
# -v, --video: 将增强的帧转换回视频中
# -a, --audio: 将输入的音频复制到增强的视频中
# --half: 推理半精度
# -suffix: 输出视频的后缀

الخطوة 3 التصور

from IPython.display import HTML
from base64 import b64encode

def show_video(video_path, video_width = 600):

  video_file = open(video_path, "r+b").read()

  video_url = f"data:video/mp4;base64,{b64encode(video_file).decode()}"
  return HTML(f"""<video width={video_width} controls><source src="{video_url}"></video>""")

# 输入视频
show_video('inputs/video/onepiece_demo.mp4')

# 增强后的视频
show_video('results/onepiece_demo_outx2.mp4')

البرنامج التعليمي الكامل

شرح فيديو لتأثيرات المعالجة المحددة والبرامج التعليمية،انقر للعرض

ما سبق هو كل محتوى هذا البرنامج التعليمي. من الأفضل أن تتصرف بدلاً من أن تتأثر. ما هي قصة حب أحلامك في الطفولة؟ قم باستنساخ البرنامج التعليمي "Real-ESRGAN Anime Video Super Resolution" بسرعة على OpenBayes وقم بإنشاء مقاطع فيديو واضحة خاصة بك~

ملحوظة: المحتوى عالي الدقة الذي تم إنشاؤه ذاتيًا مخصص للاستخدام التعليمي الشخصي فقط

روابط مرجعية:
https://zhuanlan.zhihu.com/p/431612275
https://zhuanlan.zhihu.com/p/558893171

-- زيادة--

استخدم Real-ESRGAN لحفظ جودة صور الهاتف الأرضي وإنشاء موارد الرسوم المتحركة عالية الدقة الخاصة بك

Real-ESRGAN: نموذج فائق الدقة أعمى لحب البعد الثاني

النمذجة الصريحة

النمذجة الضمنية

Real-ESRGAN في العمل: جعل الرسوم المتحركة القديمة أكثر وضوحًا