شبكة التحويل التفاعلية الشمولية للكشف عن الحركات

العمليات تتعلق بكيفية تفاعلنا مع البيئة، بما في ذلك الأشخاص الآخرين والأشياء وذواتنا. في هذا البحث، نقترح شبكة تحويل التفاعل الشاملة متعددة الوسائط (HIT) الجديدة التي تستفيد من معلومات اليد والوضعية التي غالباً ما يتم تجاهلها ولكنها ضرورية لمعظم العمليات البشرية. الشبكة المقترحة "HIT" هي إطار ثنائي الوسائط شامل يتكون من مسار RGB ومسار وضعية. كل منهما يُمثّل التفاعلات بين الشخص والأشياء والأيدي بشكل منفصل. داخل كل شبكة فرعية، تم تقديم وحدة تجميع ضمني (IMA) تقوم بدمج الوحدات التفاعلية الفردية بشكل انتقائي. يتم بعد ذلك ربط الخصائص الناتجة عن كل وسيلة باستخدام آلية الاندماج الانتباهي (AFM). أخيراً، نستخلص مؤشرات من السياق الزمني لتصنيف العمليات الحاصلة بشكل أفضل باستخدام الذاكرة المؤقتة. طريقة عملنا تتفوق بشكل كبير على الأساليب السابقة في مجموعات البيانات J-HMDB و UCF101-24 و MultiSports. كما حققنا نتائج تنافسية على AVA. سيتم توفير الكود في الرابط https://github.com/joslefaure/HIT.