التعلم المقابل للرسم البياني للتعرف على الإجراءات القائمة على الهيكل العظمي

في مجال التعرف على الحركات القائمة على الهيكل العظمي، تستغل الشبكات العصبية التلافيفية الرسومية (GCNs) الحديثة ذات الأداء الأعلى السياق الداخلي للسلسلة لبناء رسوم بيانية تكيفية لجمع الميزات. ومع ذلك، نحن نرى أن هذا السياق لا يزال محدودًا (محليًا) نظرًا لعدم دراسة العلاقات المتقاطعة بين السلسلات بشكل صريح. في هذا البحث، نقترح إطارًا للتعلم المتناقض للرسوم البيانية للتعرف على الحركات القائمة على الهيكل العظمي (SkeletonGCL) لاستكشاف السياق العالمي عبر جميع السلسلات. وبشكل دقيق، يربط SkeletonGCL تعلم الرسوم البيانية عبر السلسلات من خلال فرض أن تكون الرسوم البيانية تمييزية من حيث الفئة، أي أن تكون متماسكة داخليًا ضمن الفئة ومتفرقة بين الفئات، مما يعزز قدرة شبكة التلافيف الرسومية على التمييز بين أنماط الحركات المختلفة. علاوةً على ذلك، تم تصميم محفظتين ذاكرتين لغنى السياق المتقاطع بين السلسلات من مستويين متكاملين، وهما المستوى الفردي (الInstances) والمستوى الدلالي (الSemantic)، مما يتيح تعلم الرسوم البيانية المتناقضة على مقياسين سياقيين متعددين. نتيجة لذلك، يُحدث SkeletonGCL نموذجًا تدريسيًا جديدًا، ويمكن دمجه بسلاسة في الشبكات العصبية التلافيفية الرسومية الحالية. وبلا فقدان العمومية، قمنا بدمج SkeletonGCL مع ثلاث شبكات تلافيفية رسمية (2S-ACGN و CTR-GCN و InfoGCN)، وحققنا تحسينات متسقة على معايير NTU60 و NTU120 و NW-UCLA. وسيكون الشفرة المصدرية متاحة عبر الرابط: \url{https://github.com/OliverHxh/SkeletonGCL}.