تعلم السياق العلائقي لاكتشاف التفاعل بين الإنسان والكائنات

الطرق الحديثة المتطورة للكشف عن التفاعلات بين الإنسان والكائنات (HOI) تعتمد عادةً على هياكل الترانسفورمر مع فرعين مفككين للمحول، أحدهما لكشف أزواج الإنسان-الكائن والآخر لتصنيف التفاعلات. ومع ذلك، قد تعاني هذه الترانسفورمرات المفككة من تبادل سياق غير كافٍ بين الفرعين، مما يؤدي إلى نقص المعلومات السياقية اللازمة للتفكير في العلاقات، وهي خطوة حاسمة لاكتشاف حالات التفاعل بين الإنسان والكائنات (HOI). في هذا البحث، نقترح شبكة العلاقات المتعددة (MUREN) التي تقوم بتبادل سياقي غني بين ثلاثة فروع للمحول باستخدام العلاقات الأحادية والزوجية والثلاثية لأوسمة الإنسان والكائنات والتفاعلات. الطريقة المقترحة تتعلم السياقات العلاقية الشاملة لاكتشاف حالات التفاعل بين الإنسان والكائنات (HOI)، مما يحقق أفضل الأداء في معيارين قياسيين للكشف عن التفاعلات بين الإنسان والكائنات (HOI)، وهما HICO-DET و V-COCO.