دمج الميزات المتعددة للتعرف على الإجراءات القائمة على العمق

تمثّل اعتراف الإجراء البشري موضوع بحث نشط جدًا في مجال رؤية الحاسوب وتمييز الأنماط. في الآونة الأخيرة، أظهر هذا المجال إمكانات كبيرة لاعتراف الإجراء البشري باستخدام البيانات العمقية ثلاثية الأبعاد (3D) التي تم التقاطها بواسطة مستشعرات RGB-D الناشئة. وقد تم اقتراح عدة سمات و/أو خوارزميات لاعتراف الإجراءات القائمة على العمق. وطرح سؤال مهم: هل يمكننا اكتشاف بعض السمات المكملة ودمجها لتحقيق تحسن ملحوظ في الدقة لاعتراف الإجراءات القائمة على العمق؟ وللإجابة على هذا السؤال وتحقيق فهم أعمق للمشكلة، قمنا بدراسة دمج السمات المختلفة لاعتراف الإجراءات القائمة على العمق. وعلى الرغم من النجاح الكبير الذي أظهره دمج البيانات في مجالات أخرى، إلا أن هذا الموضوع لم يُدرس بشكل كافٍ في مجال اعتراف الإجراءات ثلاثية الأبعاد. وهناك عدد من القضايا التي تحتاج إلى معالجة، مثل: هل يُعد دمج السمات مفيدًا لاعتراف الإجراءات القائمة على العمق أم لا، وكيفية إجراء الدمج بشكل مناسب. في هذا المقال، نُجري دراسة شاملة لأساليب دمج مختلفة، باستخدام سمات متنوعة لتمثيل الإجراءات في مقاطع الفيديو العمقية. ونستعرض نوعين مختلفين من أساليب الدمج: مستوى الدمج السماتي (Feature Level) ومستوى الدمج القرار (Decision Level)، مع استكشاف طرق متعددة في كل مستوى. وننظر في أربع سمات مختلفة تمثل أنماط الإجراءات العمقية من جوانب متعددة. وتم إجراء التجارب على أربع قواعد بيانات إجراءات عمقية صعبة، بهدف تقييم الأساليب المختلفة وتحديد أفضل طريقة دمج بشكل عام. وتبين نتائج تجاربنا أن السمات الأربعة المدروسة في هذا المقال يمكنها التكامل المتبادل، وأن استخدام أساليب دمج مناسبة يمكن أن يُحسن دقة الاعتراف بشكل كبير مقارنة بتطبيق كل سمة على حدة. والأهم من ذلك، أن نموذج الاعتراف القائم على الدمج يتفوق على أفضل الأساليب الحالية (state-of-the-art) في هذه قواعد البيانات الصعبة.