HDBN: شبكة هجينة مزدوجة الفرع جديدة للتمييز القوي للإجراءات القائمة على الهيكل العظمي

تماشَت الاعتراف بالإجراءات القائمة على الهيكل العظمي باهتمام كبير بفضل استخدامها لتمثيلات هيكلية موجزة وقوية. ومع ذلك، فإن الطرق الحالية تميل غالبًا إلى الاعتماد على هيكل رئيسي واحد لتمثيل البيانات الهيكلية، مما قد يعاني من عيوب جوهرية في بنية الشبكة. ولحل هذه المشكلة واستغلال الاستفادة الكاملة من الخصائص المكملة للاختلافات المعمارية للشبكات، نقترح شبكة هجينة ثنائية الفرع (HDBN) جديدة للاعتراف بالإجراءات القائمة على الهيكل العظمي، والتي تستفيد من كفاءة الشبكات التلافيفية الرسومية (GCN) في التعامل مع البيانات ذات البنية الرسومية، بالإضافة إلى القدرات القوية للنماذج القائمة على المُحَوِّلات (Transformers) في نمذجة المعلومات الشاملة. بشكل مفصل، تُقسَّم الشبكة المقترحة HDBN إلى فرعين رئيسيين: MixGCN وMixFormer. يُستخدم الفرعان في تمثيل كلا نوعي البيانات الهيكلية ثنائية الأبعاد (2D) وثلاثية الأبعاد (3D) باستخدام الشبكات التلافيفية الرسومية (GCNs) والمحوّلات (Transformers) على التوالي. وقد برزت الشبكة المقترحة HDBN كواحدة من الحلول الرائدة في مسابقة التفكير والتحليل المتعدد الوسائط (MMVRAC) ضمن تحدي ICME Grand Challenge 2024، حيث حققت دقة بلغت 47.95% و75.36% على معيارين من مجموعة بيانات UAV-Human، متفوقةً على معظم الطرق الحالية. سيتم إتاحة الكود الخاص بنا بشكل عام عبر الرابط التالي: https://github.com/liujf69/ICMEW2024-Track10.