جامعة ديوك تقترح خوارزمية الذكاء الاصطناعي لحفظ الفسيفساء ذات الجودة الرديئة وتحويلها إلى صور عالية الدقة في ثوانٍ

كيف يكون تحويل صورة شخصية على مستوى البكسل "الفسيفساء" إلى صورة عالية الدقة؟ لا تستطيع خوارزمية الذكاء الاصطناعي التي اقترحتها جامعة ديوك "إزالة الفسيفساء" فحسب، بل تكون دقيقة بما يكفي لاكتشاف كل تجعد وكل شعرة. هل تريد تجربته؟

في عصر السعي للحصول على صور عالية الجودة، أصبح تسامحنا مع جودة الصورة الرديئة أقل فأقل.

إذا قمت بالبحث عن "دقة منخفضة" و"جودة صورة رديئة" على Zhihu، فسترى عددًا كبيرًا من الأسئلة مثل "كيفية تحويل الصور منخفضة الدقة إلى صور عالية الدقة"، و"كيفية إصلاح الصور ذات الوضوح المنخفض"، و"كيفية حفظ جودة الصورة الرديئة".

إذن، كيف يكون تحويل صورة بمستوى الفسيفساء إلى صورة عالية الدقة في ثوانٍ؟ يستخدم الباحثون في جامعة ديوك خوارزميات الذكاء الاصطناعي لإخبارك.

المشروع متاح الآن على GitHub:https://github.com/adamian98/pulse

بشكل غير مسبوق، أصبح "موزاييك" عالي الوضوح على الفور

اقترح باحثو جامعة ديوك خوارزمية الذكاء الاصطناعي تسمى نبض (زيادة أخذ العينات من الصور عبر استكشاف الفضاء الكامن).

تستطيع الخوارزمية تحويل صور الوجوه الضبابية وغير القابلة للتعرف عليها إلى صور يتم إنشاؤها بواسطة الكمبيوتر بتفاصيل أدق وأكثر واقعية من أي وقت مضى.

إذا كنت تستخدم الطريقة السابقة لجعل صورة الرأس الضبابية أكثر وضوحًا، فلن تتمكن من تغيير حجم الصورة إلا إلى ثمانية أضعاف دقتها الأصلية على الأكثر.

لكن فريقًا من جامعة ديوك توصل إلى نهج جديد.في بضع ثوان فقط،يمكنك تكبير صورة منخفضة الدقة (LR) بحجم 16×16 بكسل بمقدار 64 مرة إلى صورة عالية الدقة (HR) بحجم 1024 × 1024 بكسل.

تتخيل أدوات الذكاء الاصطناعي الخاصة بهم ميزات غير موجودة.حتى التفاصيل التي لا يمكن رؤيتها في صور LR الأصلية، مثل المسام والخطوط الدقيقة والرموش والشعر واللحية الخفيفة، يمكن رؤيتها بوضوح بعد معالجتها بواسطة خوارزميتها.

دعونا نلقي نظرة على مثال محدد:

وقالت سينثيا رودين، عالمة الكمبيوتر بجامعة ديوك والتي قادت الفريق: "لم يسبق من قبل أن أصبح من الممكن إنشاء صور فائقة الدقة بمثل هذا القدر الكبير من التفاصيل باستخدام عدد قليل جدًا من وحدات البكسل".

ومن حيث التطبيقات العملية، قال ساشيت مينون، المؤلف المشارك في الدراسة: "في هذه الدراسات، استخدمنا الوجه فقط كدليل على المفهوم.

ولكن من الناحية النظرية، تعتبر هذه التكنولوجيا عالمية ويمكن استخدامها لتحسين جودة الصورة في مجالات تتراوح من الطب والمجهر إلى علم الفلك وصور الأقمار الصناعية. "

كسر العمليات التقليدية لتحقيق أفضل النتائج

وعلى الرغم من وجود العديد من الطرق المشابهة لتحويل الدقة المنخفضة إلى الدقة العالية، إلا أن هذه هي المرة الأولى في الصناعة التي يمكن فيها تحقيق مستوى تكبير بكسل يصل إلى 64 ضعفًا.

  الطريقة التقليدية: مطابقة البكسل، عرضة للأخطاء

عند التعامل مع مثل هذه المشاكل، تقوم الطرق التقليدية عمومًا بأخذ صورة LR و"تخمين" عدد وحدات البكسل الإضافية المطلوبة، ثم محاولة مطابقة وحدات البكسل المقابلة في صورة HR التي تمت معالجتها مسبقًا مع صورة LR.

النتيجة المترتبة على مطابقة وحدات البكسل ببساطة هي أن مناطق مثل نسيج الشعر والبشرة ستحتوي على عدم تطابق وحدات البكسل.

علاوة على ذلك، تتجاهل هذه الطريقة أيضًا التفاصيل الإدراكية مثل حساسية الضوء في صور معدل ضربات القلب. وبالتالي، في نهاية المطاف، ستكون هناك مشاكل في السلاسة والحساسية، وستظل النتيجة تبدو ضبابية أو غير واقعية.

طريقة جديدة: ربط الصور منخفضة الدقة 

ويمكن القول إن الطريقة الجديدة التي اقترحها فريق جامعة ديوك قد فتحت الباب أمام أفكار جديدة.

بعد الحصول على صورة LR، لا يقوم نظام PULSE بإضافة تفاصيل جديدة ببطء.بدلاً من ذلك، يقوم بفحص صور معدل ضربات القلب التي تم إنشاؤها بواسطة الذكاء الاصطناعي، ويقارن صور معدل ضربات القلب المقابلة لهذه الصور مع الصورة الأصلية، ويجد الصورة الأقرب.

ولكي نضع الأمر في تشبيه، فإنه يعادل القيام بلعبة "ربط النقاط" مع صورة LR، والعثور على نسخة LR الأكثر تشابهًا، ثم العمل إلى الوراء. صورة HR المقابلة لهذه الصورة LR هي النتيجة النهائية.

استخدم الفريق شبكة تنافسية توليدية (GAN).يتكون من شبكتين عصبيتين، مولد ومميز، تم تدريبهما على نفس مجموعة البيانات من الصور.

يقوم المولد بمحاكاة الوجوه التي تم تدريبه عليها، مما يوفر وجهًا تم إنشاؤه بواسطة الذكاء الاصطناعي، بينما يأخذ المميز هذا الناتج ويحدد ما إذا كان واقعيًا بما يكفي ليتم الخلط بينه وبين المزيف.

مع الخبرة، يصبح المولد أفضل وأفضل، حتى يصبح المميز غير قادر على معرفة الفرق.

لقد استخدموا بعض الصور الحقيقية للتجارب، ويظهر مقارنة التأثير في الشكل التالي:

على الرغم من أن الصورة عالية الدقة الناتجة لا تزال بها بعض الفجوات مع الصورة الأصلية، إلا أنها أكثر وضوحًا من الطرق السابقة.

التقييم: يتفوق على الطرق الأخرى، ويحقق نتائج قريبة من الصور الحقيقية

قام الفريق بتقييم خوارزميته على مجموعة بيانات الوجوه عالية الدقة المعروفة باسم CelebA HQ، وأجرى هذه التجارب بعوامل مقياس 64×، و32×، و8×.

طلب الباحثون من 40 شخصًا تقييم 1440 صورة تم إنشاؤها بواسطة PULSE وخمس طرق قياس أخرى على مقياس من 1 إلى 5.حقق PULSE أفضل أداء، حيث حصل على درجة عالية تكاد تكون مساوية للصور عالية الجودة الحقيقية.

HR عبارة عن مجموعة بيانات فعلية للصور الشخصية عالية الدقة، ونتيجتها أعلى من PULSE بنحو 0.14 فقط.

وقال أعضاء الفريق إن PULSE يمكنه إنشاء صور واقعية من مدخلات ضوضائية ومنخفضة الجودة، حتى لو كانت الصورة الأصلية لا تستطيع حتى التعرف على العينين والفم. وهذا شيء لا يمكن تحقيقه بالطرق الأخرى.

ولكن لا يمكن استخدام النظام حتى الآن للتعرف على الهوية، حيث قال الباحثون: "لا يمكنه تحويل صورة غير واضحة المعالم وغير قابلة للتعرف عليها تم التقاطها بواسطة كاميرا أمنية إلى صورة واضحة لشخص حقيقي.فهو ببساطة يولد وجوهًا جديدة غير موجودة ولكنها تبدو حقيقية. "

ومن حيث سيناريوهات التطبيق المحددة، بالإضافة إلى ما سبق، قد يتم استخدام هذه التكنولوجيا في الطب وعلم الفلك في المستقبل. بالنسبة لعامة الناس، بعد الحصول على هذه التكنولوجيا السوداء، يمكن تحويل الصور القديمة الملتقطة منذ N سنة إلى صور عالية الدقة. وهذا خبر رائع للمحررين، حيث لم يعد عليهم القلق بشأن العثور على رسوم توضيحية عالية الدقة.

تذكير دافئ: سيقوم الباحثون أيضًا بتقديم طريقتهم في مؤتمر CVPR 2020 الجاري (مؤتمر رؤية الكمبيوتر والتعرف على الأنماط)، لذا يمكنك الانتباه إليه:

http://cvpr2020.thecvf.com/program/tutorials

عنوان الورقة:

https://arxiv.org/pdf/2003.03808.pdf

مراجع:

https://www.sciencedaily.com/releases/2020/06/200612111409.htm

-- زيادة--