الاستدلال متعدد الحبوب للاعتراف بالعلاقات الاجتماعية من الصور

اكتشاف العلاقات الاجتماعية في الصور يمكن أن يجعل الآلات تفسر سلوك البشر بشكل أفضل. ومع ذلك، فإن التعرف تلقائيًا على العلاقات الاجتماعية في الصور هو مهمة صعبة بسبب الفجوة الكبيرة بين مجالات المحتوى البصري والعلاقة الاجتماعية. تقوم الدراسات الحالية بمعالجة ميزات مختلفة بشكل منفصل مثل تعابير الوجوه، ومظهر الجسم، والأشياء السياقية، وبالتالي لا يمكنها التقاط الدلالات متعددة المستويات بشكل شامل، مثل المشاهد، ودلائل المناطق الخاصة بالأشخاص، والتفاعلات بين الأشخاص والأشياء. لتقريب هذه الفجوة بين المجالات، نقترح إطارًا للمنطق متعدد المستويات لاكتشاف العلاقات الاجتماعية من الصور. يتم تعلم المعرفة العالمية والتفاصيل المتوسطة من المشهد بأكمله ومناطق الأشخاص والأشياء على التوالي. وأهم من ذلك، نستكشف نقاط المفتاح الدقيقة للوضعيات البشرية لاكتشاف التفاعلات بين الأشخاص والأشياء. وبشكل خاص، تم اقتراح الرسم البياني الموجه بالوضعيات (Person-Object Graph) والرسم البياني للشخص والوضعيات (Person-Pose Graph) لنمذجة الأفعال التي يقوم بها الأشخاص تجاه الأشياء والتفاعلات بين الأشخاص المتزامنين على التوالي. بناءً على هذه الرسوم البيانية، يتم إجراء المنطق الاجتماعي بواسطة شبكات التجميع الرسومية (Graph Convolutional Networks). أخيرًا، يتم دمج الخصائص العالمية والمعرفة المنطقية كتمثيل شامل لاكتشاف العلاقات الاجتماعية. تظهر التجارب الواسعة على قاعدتين بيانات عامتين فعالية الإطار المقترح.