توليد الرسم البياني للمشهد من خلال التمرير التكراري للرسائل

فهم المشهد البصري يتجاوز التعرف على الأشياء الفردية بشكل منعزل. فالعلاقات بين الأشياء تشكل أيضًا معلومات دلالية غنية حول المشهد. في هذا البحث، نقوم بنمذجة الأشياء وعلاقاتها بشكل صريح باستخدام رسومات المشاهد (Scene Graphs)، وهي بنية بيانية مرتبطة بصريًا بصورة. نقترح نموذجًا جديدًا يعتمد على النهاية إلى النهاية (End-to-End) والذي يولد تمثيل المشهد المهيكل من صورة مدخلة. يستخدم النموذج تقنيات الشبكات العصبية المتكررة (RNNs) القياسية لحل مشكلة استدلال رسم المشهد ويتعلم كيفية تحسين توقعاته بشكل تدريجي عبر التمرير الرسالة (Message Passing). يمكن لنموذج الاستدلال المشترك أن يستفيد من الإشارات السياقية لتقديم توقعات أفضل بشأن الأشياء وعلاقاتها. أظهرت التجارب أن نموذجنا يتفوق بشكل كبير على الأساليب السابقة في إنشاء رسومات المشاهد باستخدام مجموعة بيانات Visual Genome وفي استنتاج علاقات الدعم باستخدام مجموعة بيانات NYU Depth v2.