تلعب العلاقات بين الأشياء دورًا حاسمًا في فهم الصور. على الرغم من النجاح الكبير الذي حققته تقنيات التعلم العميق في التعرف على الأشياء الفردية، فإن الاستدلال عن العلاقات بين هذه الأشياء يظل مهمة صعبة. غالبًا ما تتعامل الطرق السابقة مع هذا كمشكلة تصنيف، حيث تعتبر كل نوع من أنواع العلاقات (مثل "ركوب") أو كل عبارة بصرية مميزة (مثل "شخص-يركب-حصان") فئة منفصلة. تواجه مثل هذه الأساليب صعوبات كبيرة ناجمة عن التنوع البصري العالي لكل نوع من العلاقات أو العدد الكبير للعبارات البصرية المميزة. نقترح إطارًا متكاملًا لمعالجة هذه المشكلة. وفي قلب هذا الإطار يوجد الشبكة العميقة للعلاقات (Deep Relational Network)، وهي صياغة جديدة تم تصميمها خصيصًا لاستغلال الارتباطات الإحصائية بين الأشياء والعلاقات التي تربطها. وعلى مجموعتين كبيرتين من البيانات، حققت الطريقة المقترحة تحسينات جوهرية مقارنة بأحدث التقنيات المعروفة.