الدلالات الدقيقة للمعلومات الجانبية المرشدة لـ Dual-Prompts في التعرف على الحركات الهيكلية بدون تعلم مسبق

التعرف على الأفعال بدون معاينة مسبقة باستخدام الهيكل العظمي يهدف إلى التعرف على أفعال بشرية غير معروفة بناءً على الأولويات المُتعلمة للأفعال المعروفة المستندة إلى الهيكل العظمي وفضاء وصفي مشترك بين الفئات المعروفة وغير المعروفة. ومع ذلك، ركزت الدراسات السابقة على إنشاء جسور بين فضاء تمثيل الهيكل العظمي المعروف وفضاء الوصف الدلالي على المستوى الخشن، مما تجاهل التحالف الدقيق لهذه المساحات، مما أدى إلى أداء غير مثالي في تمييز فئات الأفعال ذات الشبه الكبير. لمعالجة هذه التحديات، نقترح طريقة جديدة عبر تعلم المعلومات الجانبية والدفعتين المزدوجة (Side information and dual-prompts learning) للتعرف على الأفعال بدون معاينة مسبقة باستخدام الهيكل العظمي (STAR) على المستوى الدقيق. وبشكل خاص، 1) نقوم بتقسيم الهيكل العظمي إلى عدة أجزاء بناءً على هيكله الطوبولوجي ونقدم المعلومات الجانبية المتعلقة بوصف حركات الجسم البشرية متعددة الأجزاء للتحاف بين الهيكل العظمي والفضاء الدلالي على المستوى الدقيق؛ 2) نصمم دفعات السمات البصرية والأجزاء الدلالية لتحسين الكثافة داخل الفئة داخل فضاء الهيكل العظمي والقابلية للتمايز بين الفئات داخل الفضاء الدلالي، وذلك بهدف تمييز الأفعال ذات الشبه الكبير. تظهر التجارب الواسعة أن طرحتنا تحقق أفضل الأداء في الإعدادين ZSL وGZSL على مجموعات البيانات NTU RGB+D، NTU RGB+D 120، وPKU-MMD.