التعلم القائم على الطاقة لتكوين رسومات المشهد

تُدرَّب الطرق التقليدية لاستخلاص رسم المشهد على استخدام خسائر التباديل العشوائية (cross-entropy losses)، والتي تُعامل الكائنات والعلاقات ككيانات مستقلة. ومع ذلك، فإن هذا النموذج يتجاهل البنية الموجودة في فضاء الإخراج، في مشكلة تنبؤ ذات بنية متأصلة. في هذه الدراسة، نقدّم إطارًا جديدًا قائمة على الطاقة لاستخلاص رسم المشهد. يسمح التصوّر المقترح بدمج بنية رسم المشهد في فضاء الإخراج بشكل فعّال. وتعمل هذه القيود الإضافية ضمن إطار التعلّم كانحياز استقرائي، مما يمكّن النماذج من التعلّم بكفاءة من عدد قليل جدًا من التسميات. استخدمنا الإطار القائم على الطاقة المُقترح لتدرّيب النماذج الرائدة حاليًا، وحققنا تحسينًا كبيرًا في الأداء، بحد أقصى 21% و27% على مجموعتي بيانات Visual Genome وGQA على التوالي. علاوة على ذلك، نُظهر كفاءة التعلّم في الإطار المقترح من خلال إبراز أداء متفوّق في البيئات ذات الصفر أو عدد قليل من الأمثلة (zero- and few-shot settings)، حيث تكون البيانات نادرة.