DualGAN: التعلم الثنائي غير المشرف للترجمة من صورة إلى صورة

حققت شبكات التوليد المتناظرة المشروطة (GANs) لترجمة الصور بين المجالات تقدماً كبيراً في الآونة الأخيرة. اعتماداً على تعقيد المهمة، قد يتطلب تدريب شبكة GAN مشروطة آلاف إلى ملايين الأزواج من الصور المصنفة. ومع ذلك، فإن تصنيف الصور بواسطة البشر باهظ الثمن، وأحياناً غير عملي، وقد لا تكون كميات كبيرة من البيانات متاحة دائماً. مستوحاة من التعلم الثنائي في ترجمة اللغات الطبيعية، طورنا آلية جديدة للشبكات الثنائية GAN (DualGAN)، والتي تمكن مترجمي الصور من التدريب باستخدام مجموعتين من الصور غير المصنفة من مجالين مختلفين. في هيكلنا، تقوم الشبكة الأولية GAN بتعلم كيفية ترجمة الصور من المجال U إلى المجال V، بينما تقوم الشبكة الثنائية GAN بتعلم عكس هذه المهمة. يسمح الحلقة المغلقة التي تتكون من المهام الأولية والثنائية بترجمة الصور وإعادة بنائها من أي مجال. وبالتالي يمكن استخدام دالة خسارة تأخذ بعين الاعتبار خطأ إعادة بناء الصورة لتدريب مترجمي الصور. أظهرت التجارب على عدة مهمات لترجمة الصور باستخدام بيانات غير مصنفة زيادة كبيرة في أداء DualGAN مقارنة بشبكة GAN واحدة. وفي بعض المهام، يمكن أن يحقق DualGAN نتائج مماثلة أو أفضل قليلاً مما حققته شبكة GAN المشروطة التي تم تدريبها على بيانات مصنفة بالكامل.