DecAug: تعزيز الكشف عن التفاعل بين الإنسان والكائن من خلال التحليل

يتطلب كشف تفاعل الإنسان مع الكائن (HOI) كمية كبيرة من البيانات المُعلَّمة. تعاني الخوارزميات الحالية من عدد غير كافٍ من العينات التدريبية وعدم توازن الفئات داخل المجموعات البيانات. ولتحسين كفاءة البيانات، نقترح في هذا البحث طريقة فعّالة وفعّالة لتعزيز البيانات تُسمى DecAug لكشف تفاعل الإنسان مع الكائن. استنادًا إلى قياسنا الجديد لتشابه حالة الكائن، نُشَارِك الأنماط الكائنية بين تفاعلات مختلفة من HOI لتعزيز ميزات مظهر الكائن المحلي دون تغيير حالته. بالإضافة إلى ذلك، نُحوّل الارتباط المكاني بين الإنسان والكائن إلى تكوينات ممكنة أخرى باستخدام نموذج مزيج جاوسية موجه بالوضعية، مع الحفاظ على تفاعلاتهما. تُظهر التجارب أن طريقتنا تحقق تحسنًا يصل إلى 3.3 نقطة في mAP و1.6 نقطة في mAP على مجموعتي بيانات V-COCO وHICODET بالنسبة لنموذجين متقدمين. وبشكل خاص، تُظهر التفاعلات التي تمتلك عددًا أقل من العينات تحسنًا أكثر بروزًا. ويمكن دمج طريقتنا بسهولة في مختلف نماذج كشف تفاعل الإنسان مع الكائن مع استهلاك ضئيل جدًا للحساب الإضافي. سيتم إتاحة رمز البرنامج الخاص بنا للجمهور.