نوديس: فهم المشهد العادي القائم على الشبكة العصبية

إن فهم الصور المعنوي يُعد موضوعًا صعبًا في رؤية الحاسوب. فهو يتطلب اكتشاف جميع الكائنات في الصورة، ولكن أيضًا تحديد جميع العلاقات بينها. ويمكن استخدام الكائنات المكتشفة، وملصقاتها، والعلاقات المُكتشفة لبناء رسم مفاهيمي للمنظر (Scene Graph)، والذي يوفر تفسيرًا معنويًا موجزًا للصورة. في الدراسات السابقة، تم تحديد العلاقات من خلال حل مشكلة تعيين صيغت على شكل برامج خطية صحيحة مختلطة (Mixed-Integer Linear Programs). في هذا العمل، نُفسّر هذه الصيغة على أنها معادلة تفاضلية عادية (ODE). وتُنفّذ البنية المقترحة استنتاج الرسم المفاهيمي للمنظر من خلال حل نسخة عصبية لمعادلة تفاضلية عادية باستخدام تعلّم من الطرفين إلى الطرفين (end-to-end). وتُحقّق هذه البنية نتائج رائدة على جميع المهام الثلاثة القياسية: توليد الرسم المفاهيمي للمنظر (SGGen)، والتصنيف (SGCls)، وكشف العلاقات البصرية (PredCls) على معيار Visual Genome.