التعلم المُمَثَّل المُسَاعَد بِمَعْرِفَةِ اللغة لِلْمُعَرَّفَةِ السَّلْكِيَّةِ للحَرَكَاتِ المُحَدَّدَةِ بِالعِظَامِ

كيف يفهم البشر ويُعرّفون أفعال الآخرين يُعدّ مشكلة عصبية معقدة تتطلب توليفًا لآليات معرفية وشبكات عصبية. أظهرت الدراسات أن البشر يمتلكون مناطق دماغية تُعرّف الأفعال وتحوّل معلومات الانتباه التصاعدي، مثل المنطقة المرتبطة بين الفصين الصدغي والجزرية. كما يمتلك البشر مناطق دماغية مخصصة لفهم عقول الآخرين وتحليل نواياهم، مثل القشرة المخية الأمامية المتوسطة في الفص الصدغي. يُنشئ التعرف على الحركات القائمة على الهيكل العظمي خرائط للروابط المعقدة بين أنماط حركة الهيكل العظمي والسلوكيات. وعلى الرغم من أن الدراسات الحالية قد كودت علاقات عقد ذات معنى وصمّمت تمثيلات للحركات لتصنيفها بنجاح، إلا أن قلة منها أخذت بعين الاعتبار دمج معرفة مسبقة لمساعدة التعلم التمثيلي المحتمل وتحسين الأداء. يقترح نموذج LA-GCN شبكة ت.Convolution رسومية تستخدم مساعدة نماذج اللغة الواسعة النطاق (LLM). أولاً، يتم تحويل معرفة LLM إلى هيكل ترابط مسبق عالمي (GPR) وبنية ترابط فئوي مسبق (CPR) بين العقد. يوجه GPR توليد تمثيلات جديدة للعظام، بهدف التأكيد على المعلومات الأساسية للعقد من مستوى البيانات. وتمثّل خريطة CPR المعرفة السابقة حول الفئات في مناطق الدماغ البشرية، وتُشفّر بواسطة وحدة PC-AC، وتُستخدم لإضافة مراقبة إضافية – مما يجبر النموذج على تعلّم ميزات تميّزية حسب الفئة. بالإضافة إلى ذلك، لتحسين كفاءة نقل المعلومات في نمذجة البنية، نقترح تقوية الرسوم البيانية ذات الانتباه متعددة الخطوات. حيث تقوم بجمع جيران العقدة من الدرجة k في آن واحد، مما يسرّع من تقارب النموذج. وقد حقق نموذج LA-GCN أفضل الأداء على مجموعات بيانات NTU RGB+D وNTU RGB+D 120 وNW-UCLA.