SA-DVAE: تحسين التعرف على الأنشطة القائمة على الهيكل العظمي بدون ملاحظة باستخدام المفككات التلقائية المتغيرة

الطرق الحالية للتعرف على الأفعال بدون تدريب مسبق باستخدام الهيكل العظمي تعتمد على شبكات الإسقاط لتعلم فضاء خفي مشترك للخصائص العظمية والغرسات الدلالية. يشكل عدم التوازن المتأصل في مجموعات بيانات التعرف على الأفعال تحديًا كبيرًا للمواءمة، حيث يتميز هذا عدم التوازن بوجود سلاسل هيكل عظمي متغيرة ومعايير فئوية ثابتة. لمعالجة هذا عدم التوازن، نقترح SA-DVAE -- المواءمة الدلالية عبر التفكيك باستخدام الشبكات الذاتية المتغيرة، وهي طريقة تقوم أولاً بتفكيك الخصائص إلى جزأين مستقلين -- أحدهما مرتبط بالمعنى والآخر غير مرتبط -- لتحقيق موائمة أفضل بين الخصائص العظمية والدلالية. نقوم بتنفيذ هذه الفكرة من خلال زوج من الشبكات الذاتية المتغيرة الخاصة بكل وسيلة مع غرامة تصحيح شاملة. قمنا بإجراء تجارب على ثلاثة مجموعات بيانات معيارية: NTU RGB+D، NTU RGB+D 120 و PKU-MMD، وأظهرت نتائج تجاربنا أن SA-DVAE يحقق أداءً أفضل من الطرق الموجودة حاليًا. الرمز البرمجي متاح على https://github.com/pha123661/SA-DVAE.