Command Palette
Search for a command to run...
تعلم التمثيلات القياسية لشبكة المشهد لتوليد الصور
تعلم التمثيلات القياسية لشبكة المشهد لتوليد الصور
Roei Herzig Amir Bar Huijuan Xu Gal Chechik Trevor Darrell Amir Globerson
الملخص
توليد صور واقعية لمشاهد بصرية معقدة يصبح تحديًا عندما يرغب المرء في التحكم في بنية الصور المُنتجة. أظهرت الطرق السابقة أن المشاهد التي تحتوي على عدد قليل من الكيانات يمكن التحكم فيها باستخدام الرسوم البيانية للمشهد، ولكن هذه الطريقة تواجه صعوبات مع زيادة تعقيد الرسم البياني (عدد الأشياء والأطراف). في هذا البحث، نوضح أن أحد القيود التي تواجه الأساليب الحالية هو عدم قدرتها على التقاط التكافؤ الدلالي في الرسوم البيانية. نقدم نموذجًا جديدًا يعالج هذه المشكلات من خلال تعلم تمثيلات رسم بياني قياسية من البيانات، مما يؤدي إلى تحسين توليد الصور للمشاهد البصرية المعقدة. يُظهر نموذجنا أداءً تجريبيًا محسنًا على الرسوم البيانية للمشاهد الكبيرة، ومتانة أمام الضوضاء في الرسم البياني للمشهد المدخل، بالإضافة إلى التعميم على الرسوم البيانية ذات التكافؤ الدلالي. وأخيرًا، نُظهر تحسين أداء النموذج في ثلاثة مقاييس مختلفة: Visual Genome (جينوم البصري)، COCO (COCO)، و CLEVR (CLEVR).