التركيب الصوتي المتعدد الوسائط الشرطي باستخدام GANs من نوع حاصل الضرب للخبراء

تحوّل الأطر الحالية لتصنيع الصور الشرطية الصور بناءً على مدخلات المستخدم في وسيلة واحدة فقط، مثل النص، أو التجزئة، أو الرسم التخطيطي، أو المرجع الأسلوبي. وغالبًا ما تكون غير قادرة على الاستفادة من مدخلات متعددة الوسائط عند توفرها، مما يقلل من فعاليتها العملية. ولحل هذه القيود، نقترح إطارًا يُدعى الشبكات التوليدية التنافسية لمنتج الخبراء (PoE-GAN)، الذي يمكنه تصنيع الصور الشرطية بناءً على عدة وسائط مدخلة، أو أي مجموعة جزئية منها، حتى المجموعة الفارغة. يتكوّن PoE-GAN من مُولّد يعتمد على "منتج الخبراء" ومُصنّف تقييم متعدد الوسائط وعديد المقياس. وبفضل مخطط التدريب المُصمم بدقة، يتعلم PoE-GAN تصنيع صور عالية الجودة ومتنوعة. بالإضافة إلى تقدّمه في مستوى التقنية الحالية لتصنيع الصور الشرطية متعددة الوسائط، فإن PoE-GAN يتفوّق أيضًا على أفضل النماذج الحالية لتصنيع الصور الشرطية ذات الوسيلة الواحدة عند اختباره في البيئة ذات الوسيلة الواحدة. يمكن زيارة موقع المشروع عبر الرابط: https://deepimagination.github.io/PoE-GAN.