كشف التفاصيل الأساسية لرؤية الفروق: منظور بروتotypical جديد للتعرف على الإجراءات القائمة على الهيكل العظمي

في التعرف على الحركات القائمة على الهيكل العظمي، يُعد التمييز بين الحركات ذات المسارات المشابهة للعُقد أمرًا صعبًا نظرًا لعدم توفر تفاصيل على مستوى الصورة في تمثيلات الهيكل العظمي. وبما أن التمييز بين الحركات المشابهة يعتمد على تفاصيل حركية دقيقة في أجزاء معينة من الجسم، فإننا نوجه نهجنا نحو التركيز على الحركة الدقيقة لمكونات الهيكل العظمي المحلية. ولتحقيق ذلك، نقدم نموذج ProtoGCN، وهو نموذج مبني على شبكة الت(Convolution) الرسومية (GCN)، يُفكك ديناميكيات تسلسلات الهيكل العظمي الكاملة إلى مزيج من البروتوتايبات القابلة للتعلم، والتي تمثل أنماط الحركة الأساسية وحدات الحركة. وباستخدام المقارنة بين إعادة بناء هذه البروتوتايبات، يمكن لـ ProtoGCN التعرف فعّالًا على التمثيلات التمييزية للحركات المشابهة وتعزيزها. وبلا تعقيدات إضافية، يحقق ProtoGCN أداءً متقدمًا على مستوى الحالة (state-of-the-art) على عدة مجموعات بيانات معيارية، بما في ذلك NTU RGB+D، وNTU RGB+D 120، وKinetics-Skeleton، وFineGYM، مما يُثبت فعالية الطريقة المقترحة. يُمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/firework8/ProtoGCN.