نموذج النظر المزدوج لفك شفرة العلاقات الاجتماعية

منذ بداية الحضارات الأولى، تشكل العلاقات الاجتماعية الناشئة عن كل فرد أساس البنية الاجتماعية في حياتنا اليومية. في أدبيات رؤية الكمبيوتر، تم إحراز تقدم كبير في فهم المشاهد، مثل الكشف عن الأشياء وتحليل المشهد. تركز البحوث الحديثة على العلاقة بين الأشياء بناءً على وظيفتها والعلاقات الهندسية. في هذا العمل، نهدف إلى دراسة مشكلة التعرف على العلاقات الاجتماعية في الصور الثابتة. قدمنا نموذجًا ثنائي النظر للتعرف على العلاقات الاجتماعية، حيث يركز النظر الأول على الزوج الفردي المعني والنظر الثاني يستخدم آلية الانتباه لاستكشاف العلامات السياقية. كما جمعنا مجموعة بيانات جديدة ذات نطاق واسع تسمى "الأشخاص في سياق اجتماعي" (PISC)، والتي تتكون من 22,670 صورة و76,568 عينة مُشَرَّحة من 9 أنواع من العلاقات الاجتماعية. نقدم نتائج معيارية على مجموعة بيانات PISC، ونوضح بشكل نوعي فعالية النموذج المقترح.