التشابك المكاني-الزماني للبيانات البيانية للاعتراف بالأفعال المستندة إلى الهيكل العظمي

يمكن اعتبار تباينات هيكل الجسم البشري كرسوم بيانية ديناميكية، وهي تمثل بيانات عامة لتطبيقات عديدة في العالم الحقيقي. في هذا البحث، نقترح نهجًا للتحويل الإقليمي-الزماني للرسوم البيانية (STGC) يجمع بين نجاحات التصفية الإقليمية المحلية وقدرة تعلم التسلسلات في متوسط الحركة الذاتي. لترميز الرسوم البيانية الديناميكية، يتم تنفيذ المرشحات الإقليمية المحلية متعددة المقياس، والتي تتكون من مصفوفات لمجالات الاستقبال المحلية وخرائط الإشارات، بشكل متكرر على البيانات البيانية المنظمة في المجال الزماني والإقليمي. النموذج المقترح عام ومبدئي حيث يمكن تعميمه على نماذج ديناميكية أخرى. نثبت نظريًا استقرار STGC ونقدم حدًا علياً للتحول الإشاري الذي سيتم تعلمه. بالإضافة إلى ذلك، يمكن تجميع النموذج المتكرر المقترح في هندسة متعددة الطبقات. لتقييم نموذجنا، أجرينا تجارب واسعة على أربعة مجموعات بيانات قياسية لحركة الهياكل العظمية، بما في ذلك مجموعة البيانات الكبيرة والمعقدة NTU RGB+D. أظهرت نتائج التجارب فعالية النموذج المقترح والتقدم الذي حققه مقارنة بأحدث ما وصل إليه العلم (state-of-the-art).