شبكات متعددة التدفقات المتسلسلة التي تستغل الوضع والحركة والمظهر لتصنيف وتكتشاف الأفعال

التعرف على الأفعال البشرية بشكل عام يتطلب فهمًا لمجموعة متنوعة من العلامات البصرية. في هذا البحث، نقترح هندسة شبكة تُحسب وتُدمج فيها أهم العلامات البصرية للتعرف على الأفعال: الوضع (البوص)، الحركة، والصور الخام. لغرض الدمج، نقدم نموذج سلسلة ماركوف يضيف العلامات تباعًا. النهج الناتج فعال ويمكن تطبيقه على تصنيف الأفعال وكذلك تحديد موقعها المكاني والزماني. المساهمتان تحسنان بوضوح الأداء فوق القواعد الأساسية المناظرة. يحقق النهج الشامل أداءً رائدًا في تصنيف الأفعال على مجموعات البيانات HMDB51 و J-HMDB و NTU RGB+D. بالإضافة إلى ذلك، ينتج نتائج تحديد الموقع المكاني والزماني للأفعال التي تعتبر رائدة في مجالها على مجموعتي بيانات UCF101 و J-HMDB.