EGSDE: التحويل غير المزدوج للصورة إلى صورة من خلال المعادلات التفاضلية العشوائية الموجهة بالطاقة

نموذج التوزيع القائم على الدرجات (SBDMs) حقق نتائج متفوقة من حيث مؤشر FID في مهمة التحويل غير المزدوج للصور (I2I). ومع ذلك، لاحظنا أن الطرق الحالية تتجاهل بالكامل بيانات التدريب في المجال المُدخل، مما يؤدي إلى حلول غير مثلى في التحويل غير المزدوج للصور. ولحل هذه المشكلة، نقترح نموذج المعادلات التفاضلية العشوائية الموجهة بالطاقة (EGSDE)، والذي يستخدم دالة طاقة مُدرّبة مسبقًا على كل من المجال المُدخل والمجال الهدف لتوجيه عملية الاستنتاج في نموذج معادلة تفاضلية عشوائية مُدرّب مسبقًا، بهدف تحقيق تحويل غير مزدوج للصور واقعي ودقيق. بناءً على مُستخرجَي ميزات، صممنا دالة الطاقة بعناية بحيث تشجع الصورة المنقولة على الحفاظ على الميزات المستقلة عن المجال، وتجاهل الميزات المحددة لكل مجال. علاوة على ذلك، نقدّم تفسيرًا بديلًا لنموذج EGSDE على أنه ناتج توليف خبراء (product of experts)، حيث يساهم كل خبير من الخبراء الثلاثة (الذين يمثلون نموذج SDE ومستخرجَي الميزات) بشكل منفرد في تحقيق الدقة أو الواقعية. من الناحية التجريبية، قارنا EGSDE مع مجموعة واسعة من النماذج الأساسية في ثلاث مهام شائعة للتوليف غير المزدوج للصور، باستخدام أربعة مقاييس مختلفة. أظهر EGSDE تفوقًا مستمرًا على الطرق القائمة على SBDMs في معظم الحالات، كما حقق أفضل نتائج من حيث الواقعية دون التأثير على أداء الدقة. بالإضافة إلى ذلك، يتيح EGSDE توازنًا مرناً بين الواقعية والدقة، وقد قمنا بتحسين نتائج الواقعية أكثر (مثل الحصول على FID قدره 51.04 في مهمة تحويل القطط إلى الكلاب، وFID قدره 50.43 في مهمة التحويل من الطبيعة إلى الكلاب على مجموعة AFHQ) من خلال ضبط المعاملات الهيكلية. يمكن الاطلاع على الكود على الرابط التالي: https://github.com/ML-GSAI/EGSDE.