In2I: الترجمة غير المُشرف عليها بين الصور المتعددة باستخدام شبكات المواجهة التوليدية

في ترجمة الصور بدون إشراف، الهدف هو تعلم التحويل بين صورة مدخل وصورة مخرج باستخدام مجموعة من الصور التدريبية غير المزدوجة. في هذا البحث، نقترح توسيع مشكلة ترجمة الصور بدون إشراف إلى إعداد متعدد المداخل. معطى مجموعة من الصور المزدوجة من عدة أوضاع (modalities)، يتم تعلم تحويل لترجمة المدخل إلى مجال محدد. لهذا الغرض، نقدم إطارًا مستندًا إلى شبكة مولدة متنافسة (Generative Adversarial Network - GAN) مع بنية مولدة متعددة الأوضاع وخسارة جديدة تُسمى خسارة التناسق الكامن (latent consistency loss). من خلال العديد من التجارب، نظهر أن الاستفادة من عدة مداخل تحسن بشكل عام جودة الصور المنقولة بصريًا. بالإضافة إلى ذلك، نظهر أن الطريقة المقترحة تتفوق على أفضل الطرق الحالية في ترجمة الصور بدون إشراف.