U-GAT-IT: شبكات انتباهية توليدية غير مراقبة مع تطبيع طبقي-مثالي متكيف لترجمة الصور إلى صور

نقترح طريقة جديدة للترجمة غير المشرفة من صورة إلى صورة، والتي تدمج وحدة انتباه جديدة ودالة تطبيع قابلة للتعلم في طريقة شاملة من البداية إلى النهاية. تعمل وحدة الانتباه على توجيه نموذجنا لتركيزه على المناطق الأكثر أهمية التي تميز بين المجالات المصدر والهدف بناءً على خريطة الانتباه التي يحصل عليها المصنف المساعد. بخلاف الأساليب السابقة القائمة على الانتباه والتي لا تستطيع التعامل مع التغيرات الهندسية بين المجالات، يمكن لنموذجنا ترجمة كل من الصور التي تتطلب تغييرات شاملة والصور التي تتطلب تغييرات كبيرة في الشكل. بالإضافة إلى ذلك، تساعد دالتنا الجديدة AdaLIN (التطبيع التكيفي بين الطبقات والمثيلات) نموذجنا الموجه بالانتباه على التحكم المرن في كمية التغيير في الشكل والنسيج بواسطة معلمات تم تعلمها اعتمادًا على مجموعات البيانات. أظهرت النتائج التجريبية أفضلية الطريقة المقترحة مقارنة بالأنماط الحالية الرائدة ذات الهيكل الشبكي الثابت ومعالم الأداء الفائق. رمز البرمجة ومجموعات البيانات متاحة على https://github.com/taki0112/UGATIT أو https://github.com/znxlwm/UGATIT-pytorch.