دراسة حول الهياكل التلافيفية للتعرف على شكل اليد المطبقة على لغة الإشارة

حصلت الشبكات العصبية التلافيفية على دفعة أداء في العديد من المجالات خلال السنوات القليلة الماضية، لكن أداءها في مجال تمييز أشكال اليد ضمن سياق تمييز لغة الإشارة لم يُدرس بشكل شامل. قمنا بتقييم عدة هياكل تلافيفية لتحديد مدى ملاءمتها لهذا المشكل.باستخدام مجموعتي بيانات LSA16 و RWTH-PHOENIX-Weather الخاصة بأشكال اليد، أجرينا تجارب على هياكل LeNet و VGG16 و ResNet-34 و الهيكل التلافيفي الكامل، بالإضافة إلى نموذج Inception باستخدام التدريب العادي وعبر التعلم الناقل (transfer learning)، وقارنّا النتائج مع أفضل الأداءات المُحققة في هذه المجموعات. كما أدرجنا تجارب باستخدام شبكة عصبية متعددة الطبقات كأساس (baseline). وتم استكشاف مختلف أساليب ما قبل المعالجة لتحليل تأثيرها على دقة التمييز.أظهرت النتائج أن جميع النماذج أظهرت أداءً معقولًا على كلا المجموعتين (بأداء مشابه للطرق المُصممة يدويًا)، حيث حقق VGG16 أفضل النتائج، يليه مباشرة الهيكل التقليدي LeNet. كما أظهرت عملية فصل اليد عن الخلفية مسبقًا (pre-segmentation) تحسنًا كبيرًا في الدقة.