حققت نماذج التوسيع النصية إلى الصورية على نطاق واسع تقدمًا مذهلًا.ومع ذلك، فإن الوضع الحالي يعتمد على استخدام المدخلات النصية فقط، مما يمكن أن يعيق قابلية التحكم. في هذا البحث، نقترح GLIGEN (Grounded-Language-to-Image Generation)، وهي طريقة جديدة تعزز وتوسع وظائف النماذج المدربة مسبقًا للتوسيع النصي إلى الصوري من خلال تمكينها من التكيف أيضًا مع المدخلات المرتبطة بالسياق. لحفظ المعرفة الواسعة بالمفاهيم التي يتمتع بها النموذج المدرب مسبقًا، نجمد جميع أوزانه ونقوم بحقن المعلومات المرتبطة بالسياق في طبقات قابلة للتدريب عبر آلية مقيدة. يحقق نموذجنا إنشاء صور مرتبطة بالعالم المفتوح باستخدام مدخلات التعليقات والصناديق الحدودية، وقدرة الترابط هذه تعمم بشكل جيد على تكوينات مكانية جديدة ومفاهيم. أداء GLIGEN في الإنشاء بدون تعلم سابق (zero-shot) على COCO وLVIS يتفوق بشكل كبير على أداء الأساليب الأساسية المراقبة لإنشاء الصور من التخطيط.