NTU RGB+D: مجموعة بيانات كبيرة لتحليل نشاط الإنسان ثلاثي الأبعاد

الطرق الحديثة في تحليل النشاط البشري المستند إلى العمق حققت أداءً متميزًا وأثبتت فعالية التمثيل ثلاثي الأبعاد في تصنيف فئات الحركات. ومع ذلك، فإن معايير التعرف على الحركات المستندة إلى العمق وRGB+D المتاحة حاليًا لديها عدد من القيود، بما في ذلك نقص عينات التدريب، وتسميات الفئات المميزة، ووجهات النظر الكاميرية والتنوع بين الأفراد. في هذا البحث، نقدم مجموعة بيانات كبيرة الحجم للتعرف على الحركات البشرية باستخدام RGB+D تحتوي على أكثر من 56 ألف عينة فيديو و4 ملايين إطار، تم جمعها من 40 فردًا مختلفًا. تتضمن مجموعة البيانات هذه 60 فئة مختلفة للحركات تشمل الأنشطة اليومية والمشتركة والمرتبطة بالصحة. بالإضافة إلى ذلك، نقترح هيكل شبكة عصبية متكررة جديد لنمذجة الارتباط الزمني طويل المدى للخصائص لكل جزء من الجسم واستخدامها لتحقيق تصنيف أفضل للحركات. تظهر النتائج التجريبية المزايا التي يوفرها تطبيق طرق التعلم العميق مقارنة بخصائص اليدوية الأكثر تقدمًا على معايير التقييم المقترحة عبر الأفراد وعبر وجهات النظر الكاميرية لمجموعة البيانات الخاصة بنا. سيتيح تقديم هذه المجموعة الكبيرة الحجم للمجتمع العلمي إمكانية تطبيق وتطوير وتكييف تقنيات التعلم الجشعة المختلفة لأجل مهمة تحليل النشاط البشري المستند إلى العمق وRGB+D.