العلاقات الدلالية الغنية مهمة في مجموعة متنوعة من مشاكل التعرف البصري. كمثال ملموس، يتضمن التعرف على نشاط المجموعات التفاعلات والعلاقات المكانية النسبية لمجموعة من الأشخاص في المشهد. تركز أساليب التعرف الأكثر تقدماً على نهج التعلم العميق لتدريب تصنيفات معقدة وفعالة للغاية لتفسير الصور. ومع ذلك، لا يزال هناك تحدي في ربط المفاهيم ذات المستوى النسبي المنخفض التي تنتجها هذه الأساليب لتفسير المشاهد التركيبية ذات المستوى العالي. تعتبر النماذج الرسومية أداة قياسية لهذه المهمة. في هذا البحث، نقترح طريقة لدمج النماذج الرسومية والشبكات العصبية العميقة في إطار مشترك. بدلاً من استخدام طريقة استدلال تقليدية، نستخدم استدلال متسلسل يتم نمذجته بواسطة شبكة عصبية متكررة (Recurrent Neural Network). بالإضافة إلى ذلك، يمكن تعلم الهيكل المناسب للاستدلال بفرض بوابات على الحواف بين العقد (nodes). تظهر النتائج التجريبية للتعرف على نشاط المجموعات إمكانات هذا النموذج في التعامل مع مهام التعلم ذات الهيكل المعقد.