شبكات التعلم بالدقة الهيكلية للتمثيلات الفعلية للاعتراف بالأفعال المستندة إلى الهيكل العظمي

التعرف على الحركات باستخدام بيانات الهيكل العظمي قد جذب اهتماماً كبيراً مؤخراً في مجال رؤية الحاسوب. تركز الدراسات السابقة بشكل أساسي على الرسوم البيانية للهيكل العظمي الثابتة، والتي تلتقط فقط الارتباطات الجسدية المحلية بين المفاصل، مما قد يؤدي إلى إغفال الارتباطات الضمنية للمفاصل. لالتقاط ارتباطات أكثر غنى، نقدم هيكل مُشفر-مُفكك يُسمى وحدة استدلال A-link، والذي يلتقط الارتباطات الكامنة الخاصة بالحركة (أي الروابط الحركية) مباشرة من الحركات. كما نوسع الرسوم البيانية الموجودة للهيكل العظمي لتمثيل ارتباطات من الرتب الأعلى (أي الروابط البنيوية). بدمج نوعَي الروابط في رسم بياني عام للهيكل العظمي، نقترح شبكة التجميع الرسومية الحركية-البنيوية (AS-GCN)، والتي تتكون من تجميع التجميع الرسومي الحركي-البنيوي والتجميع الزمني كوحدة بناء أساسية، لتعلم الخصائص المكانية والزمانية للحركة للتعرف عليها. يتم إضافة رأس تنبؤ وضع مستقبلي بموازاة رأس التعرف لمساعدته في التقاط أنماط حركة أكثر تفصيلاً من خلال الإشراف الذاتي. نقوم بتحقق صحة AS-GCN في التعرف على الحركات باستخدام مجموعتين من بيانات الهيكل العظمي، وهما NTU-RGB+D و Kinetics. يحقق AS-GCN المقترح تحسيناً كبيراً بشكل متسق مقارنة بالطرق الأكثر حداثة. كمنتج ثانوي، يظهر AS-GCN أيضًا نتائج واعدة في تنبؤ وضع مستقبلي.