التعرف على الإجراءات القائمة على الهيكل العظمي من خلال تجميع الزمن-القناة

تُعاني أساليب التعرف على الحركات القائمة على الهيكل العظمي من قدرة استخلاص المعاني من الخرائط العظمية الزمكانية. ومع ذلك، تواجه الطرق الحالية صعوبة في دمج الخصائص من كلا البعدين الزماني والزمكاني بشكل فعّال، وتُظهر تحيّزًا تجاه أحد البعدين على حساب الآخر. في هذا البحث، نقترح شبكة توليفية للتوسعات الرسومية ذات التجميع الزمني-القناتي (TCA-GCN) لتعلم التراكيب الزمكانية بشكل ديناميكي، وجمع الخصائص التراكيبية بكفاءة عبر الأبعاد الزمنية والقنوات المختلفة، وذلك لتحسين التعرف على الحركات القائمة على الهيكل العظمي. نستخدم وحدة التجميع الزمني لاستخلاص الخصائص من البعد الزمني، ووحدة التجميع القناتي لدمج الخصائص التراكيبية الديناميكية في البعد المكاني (حسب القنوات) مع الخصائص التراكيبية الديناميكية من البعد الزمني. علاوة على ذلك، نستخرج خصائص عظمية متعددة المقياس أثناء نمذجة الزمن، ونُدمجها باستخدام آلية انتباه. أظهرت التجارب الواسعة أن نموذجنا يتفوق على أحدث الطرق المنشورة على مجموعات بيانات NTU RGB+D وNTU RGB+D 120 وNW-UCLA.