LT-GAN: GAN ذاتية التدريب مع كشف التحويل في الفضاء الخفي

أظهرت الشبكات التوليدية المتنافسة (GANs) المزودة بمهمات ذاتية التدريب (self-supervised) نتائج واعدة في توليد الصور دون شرط وتحت شروط جزئية. نقترح منهجية ذاتية التدريب (LT-GAN) لتحسين جودة وتنوع الصور المولدة من خلال تقدير التحويل الناتج عن الشبكة التوليدية (أي التحويل الذي يُحدثه التلاعب بمساحة المُدخلات الخفية للمنشئ). وبشكل خاص، وبما أن لدينا زوجين من الصور، حيث يتكون كل زوج من صورة مولدة ونسخة معدلة منها، فإن مهمة التدريب الذاتي تهدف إلى تحديد ما إذا كان التحويل المطبق على الزوج الأول هو نفسه التحويل المطبق على الزوج الثاني. وبهذا، يشجع هذا الخسارة المساعدة المُنشئ على إنتاج صور قابلة للتمييز بواسطة الشبكة المساعدة، مما يعزز بالتالي توليد صور متماسكة من الناحية الدلالية بالنسبة للتحويلات المطبقة على المساحة الخفية. نُظهر فعالية هذه المهمة التمهيدية من خلال تحسين جودة توليد الصور من حيث مؤشر FID على نماذج حديثة متقدمة في كلا الحالتين المشروطة وغير المشروطة على مجموعات بيانات CIFAR-10 وCelebA-HQ وImageNet. علاوة على ذلك، نُظهر تجريبيًا أن LT-GAN يسهم في تحسين تحرير الصور المُتحكم فيه على بيانات CelebA-HQ وImageNet مقارنةً بالنماذج الأساسية. ونُثبت تجريبيًا أن مهمة التدريب الذاتي LT التي نقترحها يمكن دمجها بكفاءة مع تقنيات تدريب حديثة أخرى لتحقيق فوائد إضافية. وبالتالي، نُظهر أن منهجنا يحقق أفضل نتيجة مُحققة حتى الآن من حيث مؤشر FID، بقيمة 9.8، في توليد الصور المشروطة على مجموعة بيانات CIFAR-10.