HyperAIHyperAI
منذ 2 أشهر

SL-DML: التعلم العميق للمقاييس على مستوى الإشارة للاعتراف بالإجراءات متعددة الوسائط في محاولة واحدة

Memmesheimer, Raphael ; Theisen, Nick ; Paulus, Dietrich
SL-DML: التعلم العميق للمقاييس على مستوى الإشارة للاعتراف بالإجراءات متعددة الوسائط في محاولة واحدة
الملخص

التعرف على نشاط باستخدام عينة مرجعية واحدة من خلال نهج التعلم القياسي هو مجال بحث واعد. تركز معظم طرق التعلم القليلي (few-shot) على التعرف على الأشياء أو التعرف على الوجوه. نقترح نهجًا للتعلم القياسي يهدف إلى تقليل مشكلة التعرف على الحركات إلى عملية البحث عن الجار الأقرب في الفضاء المدمج (embedding space). نقوم بتشفير الإشارات إلى صور واستخراج الخصائص باستخدام شبكة CNN العميقة المتبقية (deep residual CNN). باستخدام خسارة الثلاثيات (triplet loss)، نتعلم تمثيلًا مدمجًا للخصائص. يحول المحول الناتج الخصائص إلى فضاء مدمج حيث ترمز المسافات الأقرب للأفعال المشابهة بينما ترمز المسافات الأعلى للأفعال المختلفة. يستند نهجنا إلى صياغة على مستوى الإشارة ويظل مرناً عبر مجموعة متنوعة من الوسائط. كما أنه يتفوق على النموذج الأساسي بنسبة 5.6% في مجموعة بيانات NTU RGB+D 120 الكبيرة الحجم لبروتوكول التعرف على الحركات بعينة واحدة (One-Shot action recognition protocol). وحتى مع استخدام 60% فقط من بيانات التدريب، لا يزال نهجنا يتفوق على النموذج الأساسي بنسبة 3.7%. ومع استخدام 40% فقط من بيانات التدريب، يؤدي نهجنا بشكل جيد مقارنة بالتجربة الثانية التي تتبعه. بالإضافة إلى ذلك، نظهر أن نهجنا يتميز بقدراته الجيدة في التجارب التي أجريت على مجموعة بيانات UTD-MHAD للبيانات الخاملة والهيكل العظمي والبيانات المدمجة وعلى مجموعة بيانات Simitate للبيانات الخاصة بالتقاط الحركة. علاوة على ذلك، تقترح تجاربنا بين المفاصل وبين المستشعرات قدرات جيدة في الإعدادات غير المعروفة سابقًا.

SL-DML: التعلم العميق للمقاييس على مستوى الإشارة للاعتراف بالإجراءات متعددة الوسائط في محاولة واحدة | أحدث الأوراق البحثية | HyperAI