إعادة بناء الصورة بايزيان باستخدام النماذج التوليدية العميقة

تُدرَّب نماذج التعلم الآلي عادةً بطريقة نهاية إلى نهاية وفي بيئة مراقبة، باستخدام بيانات مزدوجة (مُدخل، مُخرَج). ومن الأمثلة على ذلك الأساليب الحديثة للرفع من الدقة التصويرية (super-resolution)، التي تُدرَّب على أزواج من الصور ذات الدقة المنخفضة والدقة العالية. ومع ذلك، تتطلب هذه النهج النهائية إعادة التدريب كل مرة يحدث فيها انزلاق في التوزيع المدخل (مثل الصور الليلية مقابل الصور النهارية) أو متغيرات مخفية ذات صلة (مثل الضبابية الناتجة عن الكاميرا أو حركة اليد). في هذه الدراسة، نستفيد من النماذج التوليدية الرائدة (SOTA) (كما في StyleGAN2) لبناء أولويات صور قوية، مما يمكّن من تطبيق نظرية بايز على العديد من مهام إعادة البناء اللاحقة. تُسمَّى طريقتنا "إعادة البناء البايزي من خلال النماذج التوليدية" (BRGM)، وتستخدم نموذجًا مُدرَّبًا مسبقًا واحدًا فقط للحلّ في مهام إعادة البناء المختلفة، مثل رفع الدقة التصويرية وإعادة التعبئة (in-painting)، وذلك عن طريق دمج النموذج مع نماذج انتشار مختلفة للتشويه. نحتفظ بثوابت وزن النموذج التوليدية ثابتة، ونُعيد بناء الصورة عن طريق تقدير تقدير ماكسيموم الاحتمال اللاحق (MAP) البايزي على المتجه المخفي المُدخل الذي أنتج الصورة المُعاد بناؤها. كما نستخدم الاستدلال التباعدي (variational inference) لتقريب التوزيع اللاحق على المتجهات المخفية، ومنه نُولِّد حلولًا متعددة. وقد أظهرنا أداء BRGM على ثلاث مجموعات بيانات كبيرة ومتنوعة: (i) 60,000 صورة من مجموعة Flick Faces High Quality، (ii) 240,000 صورة أشعة صدر من مُجمّع MIMIC III، و(iii) مجموعة مدمجة من 5 مجموعات صور الرنين المغناطيسي للدماغ تحتوي على 7,329 عملية تصوير. وعبر جميع هذه المجموعات، وبلا أي ضبط للبارامترات الخاصة بالبيانات، تُظهر طريقتنا البسيطة أداءً يتنافس مع أحدث الأساليب المتخصصة في المهام الحالية في رفع الدقة التصويرية وإعادة التعبئة، مع تفوقها في المرونة وعدم الحاجة إلى أي تدريب. يُمكن الاطلاع على الشفرة المصدرية والنماذج المُدرَّبة مسبقًا عبر الإنترنت: https://razvanmarinescu.github.io/brgm/.