الشبكة العصبية الرسومية التوافقية المفردة زمنيًا للتعرف على الإيماءات القائمة على الهيكل العظمي

لقد حققت طرق التعرف على الإيماءات القائمة على الهيكل العظمي نجاحًا كبيرًا باستخدام الشبكة التلافيفية الرسومية (GCN)، والتي تستخدم عادةً مصفوفة جوار لتمثيل البنية المكانية للهيكل العظمي. ومع ذلك، فإن الطرق السابقة تستخدم نفس مصفوفة الجوار للهياكل العظمية من إطارات مختلفة، مما يحد من مرونة الشبكة التلافيفية الرسومية في تمثيل المعلومات الزمنية. ولحل هذه المشكلة، نقترح شبكة تلافيفية رسومية ذات فصل زمني (TD-GCN)، التي تطبق مصفوفات جوار مختلفة للهياكل العظمية من إطارات زمنية مختلفة. تتمثل الخطوات الرئيسية لكل طبقة تلافيفية في TD-GCN المقترحة في الآتي: لاستخلاص المعلومات المكانية-الزمنية العميقة من نقاط العظام، نقوم أولًا باستخلاص ميزات مكانية-زمنية عالية المستوى من بيانات الهيكل العظمي. ثم نحسب مصفوفات جوار تعتمد على القناة وتعتمد على الزمن، تتوافق مع القنوات المختلفة والإطارات الزمنية المختلفة، لالتقاط الاعتماديات المكانية-الزمنية بين نقاط العظام. وأخيرًا، لدمج المعلومات الهيكلية من النقاط المجاورة، نقوم بدمج الميزات المكانية-الزمنية لنقاط العظام بناءً على مصفوفات الجوار التي تعتمد على القناة والزمن. إلى حد معرفتنا، نحن أول من يستخدم مصفوفات جوار تعتمد على الزمن لتعلم البنية الحساسة للزمن من نقاط العظام. تُظهر TD-GCN المقترحة تحسينًا فعّالًا في قدرة الشبكة التلافيفية الرسومية على التمثيل، وتحقق نتائج متميزة على مجموعات بيانات الإيماءات، بما في ذلك SHREC'17 Track وDHG-14/28. يمكن الوصول إلى الكود الخاص بنا عبر الرابط التالي: https://github.com/liujf69/TD-GCN-Gesture.