Command Palette
Search for a command to run...
الشبكات العصبية التلافيفية الرسومية غير المحلية للتعرف على الإجراءات القائمة على الهيكل العظمي
الشبكات العصبية التلافيفية الرسومية غير المحلية للتعرف على الإجراءات القائمة على الهيكل العظمي
Hanqing Lu Jian Cheng Yifan Zhang Lei Shi
الملخص
تُستخدم الطرق العميقة التقليدية لتحديد الأفعال القائمة على الهيكل العظمي عادةً في تشكيل الهيكل العظمي كسلسلة من الإحداثيات أو صورة افتراضية لتقديمها إلى الشبكات العصبية التكرارية (RNNs) أو الشبكات العصبية التلافيفية (CNNs)، لكن هذه الأساليب لا تستغل بشكل صريح الاتصال الطبيعي بين المفاصل. في الآونة الأخيرة، حققت الشبكات التلافيفية الرسومية (GCNs)، التي تمثل تعميمًا للشبكات التلافيفية إلى هياكل غير أقليدية أكثر عمومية، أداءً متميزًا في مهام تحديد الأفعال القائمة على الهيكل العظمي. ومع ذلك، فإن هيكل الرسم البياني (الترابط) يتم تحديده يدويًا ويبقى ثابتًا عبر جميع الطبقات، وهو ما قد لا يكون مثاليًا للمهمة الخاصة بتحديد الأفعال أو الهياكل الهرمية للشبكات التلافيفية. علاوةً على ذلك، تُستخدم في الشبكات التلافيفية الرسومية السابقة بشكل رئيسي المعلومات من الدرجة الأولى (إحداثيات المفاصل)، بينما لا تُستغل المعلومات من الدرجة الثانية (طول العظام واتجاهها) بشكل كافٍ. في هذا العمل، نقترح شبكة تلافيفية رسومية غير محلية ثنائية التدفق جديدة لحل هذه المشكلات. حيث يمكن لهيكل الرسم البياني في كل طبقة من طبقات النموذج أن يُتعلم بشكل موحد أو فردي باستخدام خوارزمية الانتشار العكسي (BP)، مما يمنح النموذج مرونة وعامة أكبر. وفي الوقت نفسه، نقترح إطارًا ثنائي التدفق لتمثيل معلومات المفاصل والعظام بشكل متزامن، مما يعزز أداء التعرف بشكل إضافي. أظهرت التجارب الواسعة على مجموعتي بيانات كبيرتي الحجم، NTU-RGB+D وKinetics، أن أداء نموذجنا يتفوق على أحدث النماذج المطورة بفارق ملحوظ.