HyperAIHyperAI

Command Palette

Search for a command to run...

إعادة بناء الصورة بايزيان باستخدام النماذج التوليدية العميقة

Razvan V Marinescu Daniel Moyer Polina Golland

الملخص

تُدرَّب نماذج التعلم الآلي عادةً بطريقة نهاية إلى نهاية وفي بيئة مراقبة، باستخدام بيانات مزدوجة (مُدخل، مُخرَج). ومن الأمثلة على ذلك الأساليب الحديثة للرفع من الدقة التصويرية (super-resolution)، التي تُدرَّب على أزواج من الصور ذات الدقة المنخفضة والدقة العالية. ومع ذلك، تتطلب هذه النهج النهائية إعادة التدريب كل مرة يحدث فيها انزلاق في التوزيع المدخل (مثل الصور الليلية مقابل الصور النهارية) أو متغيرات مخفية ذات صلة (مثل الضبابية الناتجة عن الكاميرا أو حركة اليد). في هذه الدراسة، نستفيد من النماذج التوليدية الرائدة (SOTA) (كما في StyleGAN2) لبناء أولويات صور قوية، مما يمكّن من تطبيق نظرية بايز على العديد من مهام إعادة البناء اللاحقة. تُسمَّى طريقتنا "إعادة البناء البايزي من خلال النماذج التوليدية" (BRGM)، وتستخدم نموذجًا مُدرَّبًا مسبقًا واحدًا فقط للحلّ في مهام إعادة البناء المختلفة، مثل رفع الدقة التصويرية وإعادة التعبئة (in-painting)، وذلك عن طريق دمج النموذج مع نماذج انتشار مختلفة للتشويه. نحتفظ بثوابت وزن النموذج التوليدية ثابتة، ونُعيد بناء الصورة عن طريق تقدير تقدير ماكسيموم الاحتمال اللاحق (MAP) البايزي على المتجه المخفي المُدخل الذي أنتج الصورة المُعاد بناؤها. كما نستخدم الاستدلال التباعدي (variational inference) لتقريب التوزيع اللاحق على المتجهات المخفية، ومنه نُولِّد حلولًا متعددة. وقد أظهرنا أداء BRGM على ثلاث مجموعات بيانات كبيرة ومتنوعة: (i) 60,000 صورة من مجموعة Flick Faces High Quality، (ii) 240,000 صورة أشعة صدر من مُجمّع MIMIC III، و(iii) مجموعة مدمجة من 5 مجموعات صور الرنين المغناطيسي للدماغ تحتوي على 7,329 عملية تصوير. وعبر جميع هذه المجموعات، وبلا أي ضبط للبارامترات الخاصة بالبيانات، تُظهر طريقتنا البسيطة أداءً يتنافس مع أحدث الأساليب المتخصصة في المهام الحالية في رفع الدقة التصويرية وإعادة التعبئة، مع تفوقها في المرونة وعدم الحاجة إلى أي تدريب. يُمكن الاطلاع على الشفرة المصدرية والنماذج المُدرَّبة مسبقًا عبر الإنترنت: https://razvanmarinescu.github.io/brgm/.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
إعادة بناء الصورة بايزيان باستخدام النماذج التوليدية العميقة | مستندات | HyperAI