أخبر، ورسم، وتكرر: إنشاء وتعديل الصور بناءً على التعليمات اللغوية المستمرة

توليد الصور من النص بشروط هو مجال بحث نشط، مع العديد من التطبيقات المحتملة. ركزت البحوث الحالية بشكل أساسي على توليد صورة واحدة من المعلومات المشروطة المتاحة في خطوة واحدة. أحد التوسعات العملية التي تتجاوز التوليد في خطوة واحدة هو نظام يولد الصور بطريقة تكرارية، مشروطة بالمدخلات اللغوية المستمرة أو الردود. هذا يعد تحديًا كبيرًا أكثر من مهام التوليد في خطوة واحدة، حيث يجب أن يكون مثل هذا النظام قادرًا على فهم محتويات الصور المُنتجة بالنسبة لتاريخ الردود، والرد الحالي، بالإضافة إلى التفاعلات بين المفاهيم الموجودة في تاريخ الردود. في هذا العمل، نقدم نموذجًا متكررًا لتوليد الصور يأخذ بعين الاعتبار كلًّا من الإخراج المنتج حتى الخطوة الحالية وكافة التعليمات السابقة للتوليد. نظهر أن نموذجنا قادر على إنتاج الخلفية وإضافة أشياء جديدة وتطبيق تحولات بسيطة على الأشياء الموجودة بالفعل. نعتقد أن نهجنا هو خطوة مهمة نحو التوليد التفاعلي. يمكن الوصول إلى الكود والبيانات عبر الرابط: https://www.microsoft.com/en-us/research/project/generative-neural-visual-artist-geneva/ .