التوحيد والغلبة: التركيب متعدد الوسائط قابِلٌ للوصل والتشغيل باستخدام نماذج الانتشار

توليد الصور التي تلبي العديد من القيود يجد استخدامًا واسعًا في صناعة إنشاء المحتوى. أحد العقبات الرئيسية لتحقيق هذا الهدف هو الحاجة إلى بيانات مزدوجة تتكون من جميع الأشكال (أي، القيود) ومخرجاتها المقابلة. بالإضافة إلى ذلك، تحتاج الأساليب الحالية إلى إعادة التدريب باستخدام البيانات المزدوجة عبر جميع الأشكال لإدخال شرط جديد. يقدم هذا البحث حلًّا لهذه المشكلة يستند إلى نماذج الانتشار الاحتمالي للتخلص من الضوضاء (DDPMs). دوافعنا لاختيار نماذج الانتشار على غيرها من النماذج التوليدية تنبع من البنية الداخلية المرنة لنماذج الانتشار. بما أن كل خطوة عينة في DDPM تتبع توزيعًا غاوسيًا، فقد أظهرنا وجود حل مغلق للصيغة لتوليد صورة معطاة مجموعة متنوعة من القيود. يمكن لطرقنا الجمع بين عدة نماذج انتشار تم تدريبها على مهام فرعية متعددة وتحقيق المهمة المشتركة من خلال استراتيجية العينات المقترحة لدينا. كما نقدم أيضًا معلمة ثقة جديدة تسمح باستخدام نماذج انتشار جاهزة مختلفة تم تدريبها عبر مجموعة متنوعة من قواعد البيانات أثناء وقت العينة فقط لتهديتها إلى النتيجة المرغوبة التي تلبي العديد من القيود. نجري تجارب على مجموعة متنوعة من المهام المتعددة الأشكال القياسية لبيان فعالية طريقتنا. يمكن العثور على المزيد من التفاصيل في https://nithin-gk.github.io/projectpages/Multidiff/index.html