تحسين التعرف على الأفعال المستند إلى الهيكل العظمي من خلال الانحدار الرسم البياني المُنْقَصِّد

مع انتشار أجهزة استشعار العمق المتاحة بسهولة، أصبحت الهياكل العظمية للجسم البشري الديناميكية تجذب الاهتمام بشكل كبير كوسيلة قوية لتمييز الحركات. الأساليب السابقة تقوم بنمذجة الهياكل العظمية باستخدام الشبكات العصبية التكرارية (RNN) أو الشبكات العصبية الم��ية (CNN)، مما يحد من قوة التعبير عن المفاصل غير المنتظمة في الهيكل العظمي. بينما تم اقتراح الشبكات التجاوزية الرسومية (GCN) لمعالجة البيانات ذات البنية الرسمية غير المنتظمة، فإن بناء الرسم البياني الأساسي لا يزال تحديًا. في هذا البحث، نمثل الهياكل العظمية بشكل طبيعي على الرسوم البيانية ونقترح نموذج الانحدار الرسومي المستند إلى GCN (GR-GCN) لتمييز الحركات بالاعتماد على الهيكل العظمي، بهدف التقاط التغيرات الزمانية والمكانية في البيانات.نظرًا لأهمية تمثيل الرسم البياني في التجاوز الرسومي، فقد اقترحنا أولاً الانحدار الرسومي لتعلم الرسم البياني الكامن إحصائيًا من خلال ملاحظات متعددة. وبشكل خاص، نقدم نمذجة زمانية ومكانية للهياكل العظمية ونطرح مشكلة تحسين على بنية الرسم البياني عبر الإطارات المتتابعة، مما يفرض الندرة على الرسم البياني الكامن لتحقيق تمثيل فعال. يقوم الرسم البياني المحسّن ليس فقط بتوصيل كل مفصل بمفاصله المجاورة في نفس الإطار بشكل قوي أو ضعيف، بل يربط أيضًا بالمفاصل ذات الصلة في الإطارات السابقة واللاحقة.ثم ندخل الرسم البياني المحسّن إلى GCN مع إحداثيات سلسلة الهيكل العظمي لتعلم الخصائص، حيث نستخدم تقريب شيبشيف من الدرجة العليا والسريع للتجاوز الطيفي للرسم البياني. بالإضافة إلى ذلك، نقدم تحليلًا للتغيرات التي يتم حرفها بواسطة تقريب شيبشيف. تؤكد النتائج التجريبية فعالية الانحدار الرسومي المقترح وتظهر أن GR-GCN المقترحة حققت أفضل الأداء حتى الآن على مجموعات البيانات الشائعة الاستخدام NTU RGB+D وUT-Kinect وSYSU 3D.