SubUNets: التعرف على شكل اليد واللغة الإشارة المستمرة من النهاية إلى النهاية

نُقدِّم نهجًا جديدًا في التعلم العميق لحل مشكلات التماثل والتعرف المتزامن (التي تُعرف بتعلم "السِّلسلة إلى السِّلسلة"). نقوم بتحليل هذه المشكلة إلى سلسلة من أنظمة خبراء متخصصة تُعرف بـ"SubUNets". ثم نُمَثِّل العلاقات المكانية-الزمنية بين هذه SubUNets لحل المهمة، مع الحفاظ على إمكانية التدريب من البداية إلى النهاية. يُحاكي هذا النهج طريقة تعلُّم البشر وأساليب التعليم، ويتميز بعدة مزايا مهمة. تتيح لنا SubUNets إدخال معرفة خبراء متخصصة في المجال فيما يتعلق بالتمثيلات الوسطى المناسبة. كما تسمح لنا بإجراء تعلم نقل تلقائي بين مهام متعددة مرتبطة ببعضها البعض، مما يتيح لنا الاستفادة من مجموعة أوسع وأكثر تنوعًا من مصادر البيانات. في تجاربنا، نُظهر أن كل واحدة من هذه الخصائص تُسهم بشكل كبير في تحسين أداء النظام الشامل للتعرف، من خلال تقييد مشكلة التعلُّم بشكل أفضل. تم عرض التقنيات المقترحة في المجال الصعب لتمييز لغة الإشارة. ونُظهر أداءً يُعدّ من أفضل الأداءات الحالية في تمييز شكل اليد، متفوّقًا على الأساليب السابقة بنسبة تزيد عن 30٪. علاوةً على ذلك، نتمكن من تحقيق معدلات تمييز إشارات مماثلة للدراسات السابقة، دون الحاجة إلى خطوة تطابق لتقسيم الإشارات قبل التعرف عليها.