مجموعة بيانات كبيرة متغيرة الزاوية للصور الملونة والعميقة (RGB-D) لأفعال الإنسان من زوايا عشوائية للاعتراف بالأفعال البشرية

الأبحاث الحالية في مجال التعرف على الأفعال تركز بشكل أساسي على التعرف من زاوية واحدة ومن زوايا متعددة، وهو ما يصعب أن يلبي متطلبات تطبيقات التفاعل بين الإنسان والروبوت (HRI) للتعرف على الأفعال من الزوايا العشوائية. كما أن نقص المجموعات البيانات يشكل عقبة أمام هذه الأبحاث. لتقديم بيانات للتحليل العشوائي للأفعال، جمعنا حديثًا مجموعة بيانات ضخمة RGB-D للأفعال من أجل التحليل العشوائي للأفعال، والتي تتضمن مقاطع الفيديو RGB، وسلاسل العمق والعظام. تشمل هذه المجموعة بيانات عينات الأفعال التي تم التقاطها من 8 زوايا ثابتة وسلاسل زوايا متنوعة تغطي جميع الزوايا البصرية بـ 360 درجة. إجمالاً، تم دعوة 118 شخصًا لأداء 40 فئة من الأفعال، وتم جمع 25,600 عينة فيديو. تحتوي مجموعتنا البيانات على عدد أكبر من المشاركين وزوايا الرؤية وكثير من العينات. وأهم من ذلك أنها أول مجموعة بيانات تحتوي على سلاسل زوايا متنوعة تغطي الـ 360 درجة بالكامل. توفر هذه المجموعة البيانات كمية كافية للتحليل متعدد الزوايا والتحليل عبر الزوايا المختلفة والتحليل العشوائي للأفعال. بالإضافة إلى ذلك، اقترحنا شبكة عصبية ارتباطية تعتمد على الإرشاد البصري للعظام (VS-CNN) لمعالجة مشكلة التعرف على الأفعال من الزوايا العشوائية. أظهرت نتائج التجارب أن الشبكة VS-CNN حققت أداءً متفوقًا.