موضوع فائق الدقة | 3 طرق، 4 دروس تعليمية، 10 مجموعات بيانات، احصل على نقاط المعرفة الأساسية في مقال واحد

ديسمبر 2010،تلقى سو جوانجدا، أستاذ في قسم الهندسة الإلكترونية بجامعة تسينغهوا، مكالمة غير عاديةطلب ضابط شرطة من فريق شرطة جنائية جونجار في منطقة منغوليا الداخلية ذاتية الحكم من سو قوانغدا المساعدة في الحصول على صورة وجه ضبابية للمشتبه به.

"التُقطت هذه الصورة بواسطة كاميرا مراقبة على جانب الطريق. كانت البكسلات منخفضة جدًا ولا يمكن تمييزها بالعين المجردة"، يتذكر سو غوانغدا. وفي ذلك الوقت، استخدم تقنية الدقة الفائقة لإدخال هذه الصورة الضبابية إلى البرنامج الذي طوروه وأعادوا بناؤها. وبناء على الصورة عالية الدقة التي أعيد بناؤها، تمكنت شرطة جونجار بسرعة من التعرف على المشتبه به وحل قضية القتل.

وفي الواقع، هذه الحالة ليست حالة معزولة. عندما تقوم الشرطة بالتحقيق في قضية ما، فإنها تستطيع الحصول على صور المشتبه به من خلال كاميرات المراقبة، وبالتالي تسريع عملية حل القضية. ومع ذلك، عندما يتم تكبير الصور الملتقطة بواسطة كاميرات المراقبة، فإن التفاصيل غالباً ما تكون غير واضحة، مما يقلل بشكل كبير من كفاءة الشرطة في الحصول على الأدلة الرئيسية.

ومع تطور تكنولوجيا الدقة الفائقة، تغيرت هذه المشاكل وبدأ حلها تدريجيا.

ستبدأ هذه المقالة بمفهوم خوارزميات الدقة الفائقة، ثم تُقدّم مزاياها وعيوبها، وتُبيّن تطبيقاتها في مجالات مُختلفة، مثل الأمن العام، والتشخيص الطبي، والاستشعار عن بُعد عبر الأقمار الصناعية، والترفيه الرقمي، وغيرها. إضافةً إلى ذلك، أطلق الموقع الرسمي لـ HyperAI Super Neural عددًا كبيرًا من الدروس التعليمية العامة ومجموعات البيانات العامة المتعلقة بالدقة الفائقة. مرحبا بكم لتجربتها!

ما هي الدقة الفائقة؟

الدقة الفائقة (SR)، باختصار،تتمثل هذه العملية في ترقية الصورة ذات الدقة المنخفضة (LR) إلى دقة عالية (HR) من خلال خوارزمية.بالمقارنة مع الصور ذات الدقة المنخفضة، تتمتع الصور ذات الدقة العالية بكثافة بكسل أكبر وتفاصيل نسيجية أكثر ثراءً، كما أنها أكثر موثوقية.

تستطيع هذه التقنية التغلب على مشاكل مثل عدم وضوح الصورة وضعف جودة الصورة الناجمة عن قيود نظام التقاط الصور أو بيئة التقاط الصور نفسها أو تعويضها، كما توفر دعمًا مهمًا لمعالجة الصور اللاحقة مثل استخراج الميزات والتعرف على المعلومات.

تصنيف خوارزميات الدقة الفائقة

في الوقت الحاضر، تنقسم طرق الدقة الفائقة بشكل أساسي إلى ثلاث فئات: طرق تعتمد على الاستيفاء، وطرق تعتمد على إعادة البناء، وطرق تعتمد على التعلم.

* الأساليب القائمة على الاستيفاء

تعمل طريقة الاستيفاء على زيادة حجم الصورة عن طريق إدراج بكسلات جديدة حول البكسلات الأصلية للصورة وتعيين قيم لهذه البكسلات لاستعادة محتوى الصورة وتحقيق تأثير تحسين دقة الصورة.
*البكسل: العنصر الأساسي في الصورة، أي النقطة. كل بكسل لديه قيمة اللون الخاصة به. كلما زاد عدد البكسلات في وحدة المساحة، أصبحت الصورة أكثر وضوحًا.

* نهج قائم على إعادة الإعمار

تستخدم خوارزميات الدقة الفائقة المعتمدة على إعادة البناء عادةً صورًا متعددة منخفضة الدقة تم التقاطها في نفس المشهد كمدخلات، ثم تقوم بتحليل العلاقة بين المجال الترددي أو المجال المكاني لهذه الصور. يتم توجيه عملية إعادة البناء وتقييدها من خلال إدخال معلومات سابقة، ويتم إعادة بناء صورة واحدة عالية الدقة.
*مجال التردد: يشير إلى خصائص الإشارة في مجال التردد.
*المجال المكاني: يشير إلى توزيع الإشارات في الفضاء.
*المعلومات السابقة: هذه المعلومات متاحة "قبل التجربة" ويمكن فهمها بشكل عام على أنها معرفة بالمجال.

* أساليب التعلم القائمة على

تستخدم طرق الدقة الفائقة القائمة على التعلم عادةً كمية كبيرة من بيانات التدريب لتعلم العلاقة بين الصور منخفضة الدقة والصور عالية الدقة، والتنبؤ بمعلومات التفاصيل عالية التردد المفقودة في الصور منخفضة الدقة، وبالتالي إنشاء صور فائقة الدقة.

تتضمن طرق التعلم الضحل بشكل أساسي التعلم الآلي، والتعلم المتعدد، والتعلم بالعينة، والترميز المتناثر، والتي يمكن استخدامها في المواقف التي تكون فيها كمية البيانات صغيرة.

يمكن تقسيم طرق التعلم العميق إلى طرق SR تعتمد على الشبكات العصبية التلافيفية، وطرق SR تعتمد على الشبكات المتبقية (ResNet)، وطرق SR تعتمد على الشبكات التنافسية التوليدية (GAN).

وتتمثل مزايا وعيوب الطرق الثلاث المذكورة أعلاه فيما يلي:

في الوقت الحاضر، أصبح التعلم العميق هو الأسلوب السائد في مجال الدقة الفائقة.

في عام 2014، دونج وآخرون. تم تطبيق التعلم العميق لأول مرة في مجال إعادة بناء الصور فائقة الدقة.تم اقتراح نموذج الشبكة العصبية التلافيفية فائقة الدقة SRCNN.تم نشر هذه النتيجة على arXiv تحت عنوان "دقة الصورة الفائقة باستخدام الشبكات التلافيفية العميقة". ومنذ ذلك الحين، انطلقت موجة من التعلم العميق في مجال إعادة بناء الدقة الفائقة.

عنوان الورقة:

https://arxiv.org/pdf/1501.00092

باعتبارها النموذج الأقدم لتطبيق أساليب التعلم العميق على دقة الصورة الفائقة، حققت SRCNN قيمة PSNR تتجاوز بكثير قيمة الطرق التقليدية باستخدام ثلاث طبقات ملتوية فقط.

على وجه التحديد، يتم إدخال صورة منخفضة الدقة، ويتم تكبير الصورة إلى الحجم المستهدف باستخدام الاستيفاء ثنائي التكعيب، ثم يتم استخدام شبكة عصبية ملتوية ثلاثية الطبقات لتناسب التعيين غير الخطي بين الصورة منخفضة الدقة والصورة عالية الدقة، وأخيرًا يتم إخراج الصورة عالية الدقة المعاد بناؤها.

*قيمة PSNR: نسبة الإشارة إلى الضوضاء القصوى. كلما كانت القيمة أكبر، كلما كانت جودة صورة معدل ضربات القلب الناتجة أفضل.

لقد أصبح SRCNN معلمًا مهمًا في مجال دقة الصورة الفائقة بسبب بساطته وكفاءته العالية.ومنذ ذلك الحين، تطورت تقنية الدقة الفائقة المبنية على التعلم العميق بسرعة، بدءًا من تقنية الدقة الفائقة المبكرة المبنية على الشبكات العصبية التلافيفية (CNN) إلى التقنية الحديثة المبنية على الشبكات التنافسية التوليدية.

التعلم العميق + الدقة الفائقة: تطبيقات متنوعة من الأمن العام إلى الترفيه الرقمي

الطلب هو الذي يدفع التطور التكنولوجي، والتكرار التكنولوجي يساعد في تنفيذ التطبيقات. في الوقت الحاضر، يتم استخدام تقنية الدقة الفائقة على نطاق واسع في الأمن العام، والتشخيص الطبي، والاستشعار عن بعد عبر الأقمار الصناعية، ووسائل الإعلام الترفيهية وغيرها من المجالات.

* مجال الأمن العام

وتتأثر مقاطع فيديو المراقبة العامة بعوامل مثل الطقس والمسافة، وغالبًا ما تكون الصور ضبابية ودقتها منخفضة. إن تطبيق تكنولوجيا الدقة الفائقة يمكن أن يساعد الشرطة في استخراج الوجوه الواضحة وأرقام لوحات السيارات وغيرها من المعلومات الرئيسية، مما يساعد في حل القضايا.

استخدم فنغ شونلي من كلية شرطة جيلين شبكات ESRGAN وBSRGAN لتحليل الصور والمناظر الطبيعية في بيئات مختلفة، واستكشف إمكانية تطبيق تقنية الدقة الفائقة في الأمن العام والمحاكم.

ونشرت النتيجة في مجلة أكاديمية الشرطة المسلحة تحت عنوان "تطبيق تكنولوجيا إعادة بناء الصور فائقة الدقة في عمل الشرطة".

عنوان الورقة:

https://www.faxin.cn/lib/Flwx/FlqkContent.aspx?gid=F805122&libid=040106

أولاً، قام الباحثون بإعادة إنتاج وتدريب واختبار نماذج ESRGAN وBSRGAN للحصول على معلمات النموذج المثالية. بعد ذلك، يتم استخدام النموذج المدرب لإجراء إعادة بناء فائقة الدقة على الصور المجمعة ذات الجودة المنخفضة مثل الصور الشخصية والمناظر الطبيعية، ويتم الحصول على نتائج إعادة بناء ESRGAN وBSRGAN.

قام الباحثون بمقارنة الصور المعاد بناؤها من ESRGAN و BSRGAN مع الصور الأصلية.وتظهر النتائج أن الصور التي أعيد بناؤها في الزوايا الأمامية والمائلة والمشاهد المعقدة شهدت تحسنات كبيرة في الجودة البصرية والإخلاص.

عند مقارنة المشاهد الطبيعية، فإن تأثير إعادة بناء BSRGAN أفضل من ESRGAN.يمكنه إزالة الضوضاء المعقدة غير المعروفة بشكل فعال من الصورة الأصلية ذات الجودة المنخفضة وإنشاء حواف واضحة وتفاصيل دقيقة.

* مجال التشخيص الطبي

بسبب القيود المفروضة على معدات التصوير والبيئات السريرية المعقدة، فإن الصور التي يتم الحصول عليها في المجال الطبي غالباً ما تكون ذات دقة غير كافية، مما يؤثر بشكل مباشر على دقة تشخيص الأطباء وقرارات علاج الأمراض.

استخدم بينج بو وآخرون من مستشفى سيتشوان الشعبي شبكة التوليد التنافسية (SRGAN) لإعادة بناء الصور الطبيعية بدقة فائقة كطريقة أساسية.تم تغيير بنية الشبكة عن طريق تقليل قناتين للإدخال وحذف كتلة متبقية واحدة، وتم تحسين وظيفة فقدان الشبكة، وتمت إضافة مجموعة بيانات جديدة لمعالجة الضبابية لإعادة بناء صورة الموجات فوق الصوتية الطبية ذات الحواف الواضحة وعدم وجود أي آثار تم تكبيرها 4 مرات.

وقد تم نشر هذه النتيجة في مجلة علوم التيراهيرتز وتكنولوجيا المعلومات الإلكترونية تحت عنوان "إعادة بناء صور الموجات فوق الصوتية بدقة فائقة استنادًا إلى الشبكات التنافسية التوليدية".

عنوان الورقة:

http://www.iaeej.com/xxydzgc/article/abstract/202305015

قام الباحثون بمقارنة SRGAN المحسّن مع ثلاث خوارزميات أخرى.وتظهر النتائج أن نتائج إعادة بناء SRGAN المحسنة أصبحت أكثر سلاسة بشكل عام وأن حواف الملمس أصبحت أكثر وضوحًا.

* مجال الاستشعار عن بعد عبر الأقمار الصناعية

في السنوات الأخيرة، تم استخدام صور الاستشعار عن بعد الملتقطة بواسطة الأقمار الصناعية على نطاق واسع في مجالات مثل مراقبة البيئة، واستكشاف الموارد، والتحذير من الكوارث والعسكرية. ومع ذلك، فإن عوامل مثل التغيرات الجوية، وضوضاء الإرسال، وضبابية الحركة، وأجهزة الاستشعار البصرية ذات العينات غير الكافية تحد بشدة من وضوح صور الاستشعار عن بعد التي تلتقطها الأقمار الصناعية. يمكن لتكنولوجيا الدقة الفائقة تحسين جودة وتوافر بيانات الاستشعار عن بعد عبر الأقمار الصناعية من خلال معالجة وتحسين الصور منخفضة الدقة.

قام يان بودي وآخرون من معهد هاربين للتكنولوجيا بإدخال معلومات مفصلة عن ميزات مناطق الأهداف المحلية في صور الاستشعار عن بعد في أخذ العينات وإعادة بناء صور الاستشعار عن بعد الكاملة، واستخراج ميزات الصور بمقاييس مختلفة من خلال الشبكات العصبية متعددة الطبقات، ودمج وإعادة بناء هذه الميزات من خلال التعلم المتبقي.يمكن لهذه الطريقة تحسين تأثير التفاصيل في صورة الاستشعار عن بعد العالمية بشكل كبير وتحسين دقة منطقة هدف المجموعة بمساعدة معلومات البكسل للصورة المحلية.

تم نشر الإنجاز، المعنون بـ "إعادة بناء فائقة الدقة لمناطق أهداف مجموعة الاستشعار عن بعد جنبًا إلى جنب مع صور محلية عالية الدقة"، في مجلة جامعة نانجينغ للملاحة الجوية والفضائية.

عنوان الورقة:

https://jnuaa.nuaa.edu.cn/njhkht/article/html/202306002

يوضح الرسم البياني المقارن المقدم في الدراسة أن هذه الطريقة أفضل بشكل كبير من الطرق الأخرى الموجودة من حيث تأثير التصور.فهو مناسب للمشاهد الحضرية والخارجية ويظهر نتائج جيدة.

* الترفيه الرقمي

تتكون الرسوم المتحركة من عدة صور ثابتة متصلة ببعضها البعض، وسوف يؤثر دقة الصور الثابتة على وضوح الرسوم المتحركة النهائية. ومع ذلك، فإن الرسومات المرسومة يدوياً أو الرقمية الحالية لا يمكنها ضمان الدقة العالية للمسودة الأولى، وهو أمر غير ملائم تماماً للتجربة البصرية للمستخدم. ومن خلال تطبيق تقنية الدقة الفائقة، يمكن تحويل هذه الصور منخفضة الدقة إلى صور ذات دقة أعلى، يمكنها تقديم المزيد من التفاصيل والملمس، مما يجعل صور الأعمال المتحركة أكثر حيوية وواقعية.

أطلقت شركة Bilibili نموذجًا لاستعادة جودة الرسوم المتحركة يسمى Real-CUGAN (شبكات تنافسية توليدية على غرار Real Cascaded-U-Net).

أولاً، استخدم الباحثون النموذج لتقطيع إطارات الرسوم المتحركة، واستخدموا نموذج تسجيل جودة الصورة لتسجيل وتصفية الكتل المرشحة، وفي النهاية حصلوا على مجموعة تدريب تضم ملايين كتل صور الرسوم المتحركة عالية الجودة.

بعد ذلك، من خلال خوارزمية تدهور متعددة المراحل، يتم تقليص حجم كتل الصور عالية الدقة للحصول على صور منخفضة الجودة، مما يسمح للنموذج بالتعلم وتحسين عملية إعادة البناء من الصور منخفضة الجودة إلى الصور عالية الجودة. بعد اكتمال التدريب، يصبح النموذج قادرًا على معالجة الصور ثنائية الأبعاد ذات الجودة المنخفضة وتحويلها إلى صور عالية الدقة.

الرسم البياني للمقارنة بين الخوارزميات المختلفة هو كما يلي:

مجموعات بيانات مفتوحة المصدر ودروس تعليمية فائقة الدقة

في الوقت الحالي،أطلق الموقع الرسمي لشركة HyperAI عددًا كبيرًا من الموارد فائقة الدقة.يتضمن دروسًا تعليمية عامة ومجموعات بيانات.

* دروس تعليمية عامة

1. مُحسِّن الدقة الفائقة لصور الرسوم المتحركة APISR

APISR هو مشروع مفتوح المصدر لتحسين دقة الصور ومقاطع الفيديو الخاصة بالأنمي. يمكنه استعادة وتحسين صور الأنمي ومقاطع الفيديو ذات الجودة المنخفضة والدقة المنخفضة، والتعامل مع مشاكل تدهور الصورة المختلفة (التشويش، والضوضاء، وآثار الضغط، وما إلى ذلك).
عنوان التشغيل عبر الإنترنت:https://hyper.ai/tutorials/31383

2. برنامج تعليمي لاستعادة الصور باستخدام SUPIR-AI

يمكن لـ SUPIR رفع مستوى الصور ذات الدقة المنخفضة إلى دقة عالية مع الحفاظ على تفاصيل الصورة وواقعيتها والتعامل مع مواقف التدهور المعقدة المختلفة.
عنوان التشغيل عبر الإنترنت:https://hyper.ai/tutorials/30940
3. دقة الصورة الفائقة باستخدام الانتشار الكامن

يوضح هذا البرنامج التعليمي كيفية استخدام مكتبة الناشرين لتنفيذ نموذج الدقة الفائقة لصورة الانتشار الكامن.
عنوان التشغيل عبر الإنترنت:https://hyper.ai/tutorials/26207
4. دقة فائقة للصورة باستخدام شبكة CNN فعالة لكل بكسل فرعي

يقوم هذا البرنامج التعليمي بتنفيذ الدقة الفائقة على مجموعة بيانات BSDS 500 باستخدام نموذج بكسل فرعي فعال.
عنوان التشغيل عبر الإنترنت:https://hyper.ai/tutorials/25044
* مجموعات البيانات العامة
1. مجموعة بيانات جامعة ولاية ميشيغان فائقة الدقة

تحتوي مجموعة البيانات على مقاطع فيديو داخلية وخارجية بالإضافة إلى الرسوم المتحركة، وتحتوي جميع مقاطع الفيديو على قيم SI/TI منخفضة وملمس بسيط. تم تصميمه لتقليل احتمالية حدوث مشكلات الضغط واستعادة التفاصيل.
الاستخدام المباشر:https://hyper.ai/datasets/20401
2. مجموعة بيانات الفيديو فائقة الدقة لجامعة ولاية ميشيغان

تُستخدم مجموعة البيانات هذه لمهام الفيديو فائقة الدقة وتحتوي على المحتوى الأكثر تعقيدًا في مهام الترميم التفصيلية: الوجوه، والنصوص، ورموز الاستجابة السريعة، ولوحات الترخيص، والأنسجة بدون أنماط معروضة، والتفاصيل الصغيرة. يتضمن الفيديو أنواعًا مختلفة من الحركة بالإضافة إلى أنواع مختلفة من التمويه: الاستيفاء ثنائي التكعيب، والتمويه الغاوسي، وتقليل العينات.
الاستخدام المباشر:https://hyper.ai/datasets/17212
3. مجموعة بيانات الصور فائقة الدقة DRealSR

تُعد مجموعة البيانات هذه مجموعة بيانات صور فائقة الدقة حول عملية تدهور الصورة الحقيقية، مما يخفف من قيود تدهور الصورة المحاكية التقليدية. تغطي مجموعة البيانات المشاهد الداخلية والخارجية، مثل الملصقات الإعلانية والنباتات والمكاتب والمباني.
الاستخدام المباشر:https://hyper.ai/datasets/20446
4. مجموعة بيانات TextZoom فائقة الدقة

تتكون مجموعة البيانات هذه من أزواج من الصور منخفضة الدقة (LR) وعالية الدقة (HR). تم التقاط الصور في البرية بواسطة كاميرات ذات أطوال بؤرية مختلفة. يحتوي كل زوج من الصور على تسمية على شكل سلسلة حساسة لحالة الأحرف (بما في ذلك علامات الترقيم)، ونوع المربع المحدد، والطول البؤري الأصلي.
الاستخدام المباشر:https://hyper.ai/datasets/19550
5. مجموعة بيانات صور SR-RAW فائقة الدقة

تحتوي مجموعة البيانات هذه على بيانات مستشعر RAW مع صور عالية الدقة تم التقاطها بمستويات تكبير بصري عالية. يحتوي كل تسلسل على 7 صور (بعضها يحتوي على 6) تم التقاطها عند أطوال بؤرية مختلفة.
الاستخدام المباشر:
https://hyper.ai/datasets/19743
6. المجموعة 5، المجموعة 14 مجموعة بيانات صورة واحدة فائقة الدقة منخفضة التعقيد

هذه مجموعة بيانات فائقة الدقة لصورة واحدة منخفضة التعقيد تعتمد على تضمين الحي غير السلبي. تُستخدم مجموعة التدريب لإعادة بناء صورة واحدة فائقة الدقة، وإعادة بناء صور عالية الدقة استنادًا إلى صور منخفضة الدقة للحصول على معلومات أكثر تفصيلاً. يتم استخدامه على نطاق واسع في رؤية الكمبيوتر والرسومات والتصوير الطبي ومراقبة الأمن وغيرها من المجالات.
الاستخدام المباشر:
https://hyper.ai/datasets/5382
7. مجموعة بيانات الصور فائقة الدقة DIV2K

تحتوي مجموعة البيانات هذه على 1000 صورة منخفضة الدقة مع أنواع تدهور مختلفة، والتي يمكن استخدامها لإعادة بناء صور عالية الدقة من صور منخفضة الدقة.

الاستخدام المباشر:https://hyper.ai/datasets/15624
8. مجموعة بيانات الاستشعار عن بُعد فائقة الدقة S2-NAIP الأمريكية

تحتوي مجموعة البيانات هذه على صور مقترنة من NAIP وSentinel-2 للولايات المتحدة القارية. ويوفر دعمًا للبيانات عالية الدقة في مراقبة السطح وإدارة الموارد وتقييم التغير البيئي.
الاستخدام المباشر:
https://hyper.ai/datasets/30427
9. مجموعة بيانات Sun-Hays 80 للصور فائقة الدقة

تستخدم مجموعة البيانات هذه أوصاف المشاهد العالمية لمقارنة المشاهد ذات الصلة والبحث عنها في قواعد بيانات الصور. توفر المشاهد أمثلة مثالية للقوام لتقييد مشاكل أخذ العينات من الصور.
الاستخدام المباشر:https://hyper.ai/datasets/5391
10. مجموعة بيانات إعادة بناء الصور فائقة الدقة Urban100

تحتوي مجموعة البيانات على مشاهد حضرية صعبة مع تفاصيل في نطاقات تردد مختلفة. يمكن أن يؤدي تصغير حجم الصورة الحقيقية باستخدام الاستيفاء ثنائي التكعيب إلى الحصول على أزواج صور LR/HR للحصول على مجموعات بيانات التدريب والاختبار.
الاستخدام المباشر:
https://hyper.ai/datasets/5385
ما ورد أعلاه هو ملخص للموارد فائقة الدقة على الموقع الرسمي لـ HyperAI. إذا رأيت أي مشاريع عالية الجودة، يرجى ترك رسالة في الخلفية لتوصيتها لنا! بالإضافة إلى ذلك، قمنا أيضًا بتأسيس مجموعة لتبادل الدروس التعليمية. نرحب بالأصدقاء للانضمام إلى المجموعة لمناقشة القضايا الفنية المختلفة ومشاركة نتائج التطبيق ~
امسح رمز الاستجابة السريعة للانضمام إلى مجموعة تبادل الدروس التعليمية