التعلم المشترك للسمات المتنوعة للتعرف على النشاطات باستخدام الصور RGB-D

في هذه الورقة، نركّز على تعلّم الميزات غير المتجانسة للتمييز عن الأنشطة باستخدام بيانات RGB-D. وجدنا أن الميزات المستمدة من قنوات مختلفة (RGB، العمق) يمكن أن تشارك في بعض الهياكل المخفية المتشابهة، ولهذا نقترح نموذجًا تعلّميًا مشتركًا لاستكشاف المكونات المشتركة والمتخصصة في الميزات في آن واحد، كمثيل لتعلم المهام المتعددة غير المتجانسة. يتكوّن النموذج المقترح ضمن إطار موحد، ويتمتع بالقدرة على: 1) استخراج مجموعة من الفضاءات الفرعية ذات البُعد نفسه لاستغلال الميزات المشتركة الكامنة عبر القنوات المختلفة للميزات، 2) في الوقت نفسه، قياس المكونات المشتركة والمكونات المتخصصة في الميزات ضمن هذه الفضاءات الفرعية، و3) نقل التحولات المتوسطة المخصصة للميزات (i-التحويلات) لتعلم دمج الميزات غير المتجانسة عبر مجموعات بيانات مختلفة. ولتمكين التدريب الفعّال للنموذج المشترك، تم اقتراح خوارزمية تحسين تكرارية مكونة من ثلاث خطوات، تليها نموذج استنتاج بسيط. وقد أظهرت النتائج التجريبية الواسعة على أربع مجموعات بيانات للأنشطة فعالية الطريقة المقترحة. كما تم إسهام Dataset جديد لأنشطة RGB-D يركّز على التفاعل بين الإنسان والكائن، مما يقدّم تحديات أكبر لاختبار الأداء في مهام تمييز الأنشطة باستخدام بيانات RGB-D.