Omni-GAN: حول أسرار cGANs وما بعدها

يعتبر الشبكة التوليدية التنافسية الشرطية (cGAN) أداة قوية لإنشاء صور عالية الجودة، لكن الطرق الحالية تعاني في الغالب من أداء غير راضٍ أو خطر الانهيار النمطي. تقدم هذه الورقة نموذج Omni-GAN، وهو تنويع للشبكة التوليدية التنافسية الشرطية، يكشف عن التحدي المختبئ في تصميم تمييز مناسب لتدريب النموذج. والجوهر يكمن في ضمان تلقي التمييز توجيهًا قويًا لفهم المفاهيم، وتطبيق تنظيم معتدل لتجنب الانهيار. يتميز Omni-GAN بسهولة التنفيذ، ويمكن دمجه بحرية مع طرق ترميز جاهزة (مثل التمثيل العصبي الضمني، INR). تؤكد التجارب الأداء المتفوق لـ Omni-GAN وOmni-INR-GAN في مجموعة واسعة من مهام إنشاء الصور وإعادة الترميم. وبشكل خاص، يُحدث Omni-INR-GAN أرقامًا قياسية جديدة على مجموعة بيانات ImageNet، حيث بلغت درجات Inception 262.85 و343.22 على أحجام صور 128 و256 على التوالي، متفوّقًا على الأرقام السابقة بأكثر من 100 نقطة. علاوةً على ذلك، وباستغلال معرفة التوليد، يمكن لـ Omni-INR-GAN التمديد من صور منخفضة الدقة إلى دقة غير محدودة، حتى تصل إلى زيادة تزيد عن 60 مرة. تم إتاحة الكود.