تعلم التمثيلات القياسية لشبكة المشهد لتوليد الصور

توليد صور واقعية لمشاهد بصرية معقدة يصبح تحديًا عندما يرغب المرء في التحكم في بنية الصور المُنتجة. أظهرت الطرق السابقة أن المشاهد التي تحتوي على عدد قليل من الكيانات يمكن التحكم فيها باستخدام الرسوم البيانية للمشهد، ولكن هذه الطريقة تواجه صعوبات مع زيادة تعقيد الرسم البياني (عدد الأشياء والأطراف). في هذا البحث، نوضح أن أحد القيود التي تواجه الأساليب الحالية هو عدم قدرتها على التقاط التكافؤ الدلالي في الرسوم البيانية. نقدم نموذجًا جديدًا يعالج هذه المشكلات من خلال تعلم تمثيلات رسم بياني قياسية من البيانات، مما يؤدي إلى تحسين توليد الصور للمشاهد البصرية المعقدة. يُظهر نموذجنا أداءً تجريبيًا محسنًا على الرسوم البيانية للمشاهد الكبيرة، ومتانة أمام الضوضاء في الرسم البياني للمشهد المدخل، بالإضافة إلى التعميم على الرسوم البيانية ذات التكافؤ الدلالي. وأخيرًا، نُظهر تحسين أداء النموذج في ثلاثة مقاييس مختلفة: Visual Genome (جينوم البصري)، COCO (COCO)، و CLEVR (CLEVR).