Command Palette
Search for a command to run...
MSA-GCN: استغلال الديناميات الزمنية متعددة المقياس مع التحوير التلقائي للانحدار الرسومي للتمييز عن الأفعال القائمة على الهيكل العظمي
MSA-GCN: استغلال الديناميات الزمنية متعددة المقياس مع التحوير التلقائي للانحدار الرسومي للتمييز عن الأفعال القائمة على الهيكل العظمي
Ji-Hyeong Han Kowovi Comivi Alowonou
الملخص
تم استخدام الشبكات التلافيفية الرسومية (GCNs) على نطاق واسع وحققت نتائج مميزة في التعرف على الحركات القائمة على الهيكل العظمي. نلاحظ أن النهج القائمة على GCN الحالية تعتمد على معلومات السياق المحلي للعُقد العظمية لبناء رسوم بيانية تكيفية لجمع الميزات، مما يحد من قدرتها على فهم الحركات التي تتطلب تنسيقًا بين أجزاء متعددة من الجسم. يمكن أن يسهم بناء رسم بياني تكيفي يعتمد على معلومات السياق العالمي للعُقد في التغلب على هذا التحدي. لذلك، في هذا البحث، نقترح منهجًا جديدًا للتعرف على الحركات القائمة على الهيكل العظمي يُسمى الشبكة التلافيفية الرسومية التكيفية متعددة المراحل (MSA-GCN). وتتكون من وحدتين: التلافيف الرسومي التكيفي متعدد المراحل (MSA-GC) ومحول الزمن متعدد المقاييس (TMST). تعمل هاتان الوحدتان معًا لاستكشاف الأنماط المكانية والزمنية المعقدة داخل بيانات الهيكل العظمي بشكل فعّال. بشكل خاص، تبحث وحدة MSA-GC في معلومات السياق المحلي والعالمي للعُقد عبر جميع التسلسلات لبناء الرسم البياني التكيفي، وتساعد في فهم العلاقات المعقدة والدقيقة بين العُقد. من ناحية أخرى، تدمج وحدة TMST وحدة التلافيف الزمني متعدد المراحل المُقيّدة (GMSTC) مع انتباه ذاتي متعدد الرؤوس الزمني (TMHSA) لاستخلاص الميزات الزمنية العالمية وتمكين التعامل مع الاعتماديات طويلة الأمد وقصيرة الأمد داخل تسلسلات الحركات. وقد أظهرت التجارب الواسعة على عدة مجموعات بيانات معيارية، بما في ذلك NTU RGB+D 60 وNTU RGB+D 120 وNorthwestern-UCLA، أداءً متميزًا يُعدّ من أفضل النتائج المحققة، مما يؤكد فعالية MSA-GCN في التعرف على الحركات القائمة على الهيكل العظمي.