تعلم زمني متعدد التدفقات فعّال واستراتيجية ما بعد الدمج لتمييز أنشطة اليد القائمة على الهيكل ثلاثي الأبعاد

التعرف على النشاط اليدوي من منظور الشخص الأول يُعد مهمة صعبة، خصوصًا عندما لا تكون كمية البيانات الكافية. في هذه الورقة، نتناول هذه التحديات من خلال اقتراح نموذج تعلم هجين جديد للتعريف بالنشاط اليدوي القائم على الهيكل العظمي، والذي يتكون من ثلاثة أقسام. أولاً، بالنسبة لسلسلة معينة من مواقع المفاصل اليدوية، يتم استخراج السمات المكانية باستخدام تركيبة مخصصة تجمع بين السمات المكانية المحلية والعالمية المُصممة يدويًا. ثم، تُتعلم الاعتماديات الزمنية باستخدام استراتيجية تعلم متعددة التدفقات. وأخيرًا، يُتعلم فاصل نشاط اليد على شكل سلسلة، من خلال استراتيجيتنا "Post-fusion"، التي تُطبّق على الاعتماديات الزمنية المُتعلّمة سابقًا. وأظهرت التجارب، التي تم تقييمها على مجموعتي بيانات واقعيتين، أن أسلوبنا يتفوق على الأساليب الحالية في مجال التخصص. وبالنسبة إلى دراسات التحليل التفصيلي، قارنا استراتيجيتنا "Post-fusion" مع ثلاث قواعد مقارنة تقليدية للدمج، وتبين تحسنًا في الدقة بأكثر من 2.4%.