نموذج الاندماج متعدد المعاني للاعتراف بعمليات الحركة المستندة إلى الهيكل العظمي في حالة الصفر المعمم

التعرف على الأنشطة دون تدريب مسبق باستخدام الهياكل العظمية (GZSSAR) هو مشكلة جديدة وصعبة في مجتمع رؤية الحاسوب، والتي تتطلب من النماذج التعرف على الأنشطة دون وجود عينات تدريبية. الدراسات السابقة كانت تستفيد فقط من تسميات الأفعال كنماذج معنى لتعلم الخريطة من الأنشطة القائمة على الهيكل العظمي إلى فضاء دلالي مشترك. ومع ذلك، فإن المعلومات الدلالية المحدودة لتسميات الأنشطة تقيد قدرة خصائص الهيكل العظمي على التعميم في التعرف على الأنشطة غير المعروفة. لحل هذه الإشكالية، نقترح نموذج الاندماج الدلالي المتعدد (MSF) لتحسين أداء GZSSAR، حيث يتم جمع نوعين من الوصف النصي على مستوى الفئة (أي، وصف الأنشطة ووصف الحركة) كمعلومات دلالية مساعدة لتعزيز فعالية تعلم خصائص الهيكل العظمي القابلة للتعميم. بشكل خاص، يستخدم مُشفِّر اللغة المُدرب مسبقًا الوصف النصي للأنشطة والحركة وتسميات الفئات الأصلية كمدخلات للحصول على خصائص دلالية غنية لكل فئة نشاط، بينما يتم تنفيذ مُشفِّر الهيكل العظمي لاستخراج خصائص الهيكل العظمي. ثم يتم استخدام وحدة إنتاجية قائمة على الترميز التلقائي المتغير (VAE) لتعلم التناظر بين خصائص الهيكل العظمي والخصائص الدلالية. وأخيرًا، يتم بناء وحدة تصنيف للتعرف على فئات الأنشطة للعينات المدخلة، حيث يتم اعتماد بوابة تصنيف معروفة وغير معروفة لتوقع ما إذا كانت العينة تنتمي إلى فئات أنشطة معروفة أم لا في GZSSAR. يؤكد الأداء المتفوق في المقارنات مع النماذج السابقة على فعالية النموذج المقترح MSF في GZSSAR.