التعرف على السلوك البشري عبر مجموعات البيانات من خلال تحليل التوزيع التكراري الموزون حسب الخلفية الأمامية

يهدف هذا البحث إلى معالجة مشكلة تمييز الأفعال البشرية عند التدريب والاختبار على مجموعات بيانات مختلفة، حيث لا تكون مقاطع الفيديو المُختبرة مُلصَّقة أو متاحة أثناء التدريب. في هذه الحالة، لا يمكن تطبيق تقنيات تعلم قاموس مشترك أو تقنيات نقل المجال. نبدأ أولاً بتحليل أسباب ضعف أداء الفاصل عند اختباره على مجموعات بيانات جديدة، ونقيّم تأثير الخلفيات المشهدية على تمثيلات الفعل وتقديره. وباستخدام فقط ميزات الخلفية وتقسيم فضاء ميزة الجِست (gist)، نُظهر أن الخلفيات المشهدية في مجموعات البيانات الحديثة تمييزية إلى حدٍ كبير، ويمكن استخدامها لتصنيف الفعل بدقة معقولة. ثم نقترح عملية جديدة لاستخلاص قياس لدرجة الثقة في كل بكسل من بكسلات الفيديو بأنه جزء أمامي، وذلك باستخدام الحركة والملامح والملحوظية معًا ضمن إطار عمل مبني على نموذج الحقول العشوائية الثلاثية الأبعاد (3D MRF). كما نقترح عدة طرق لاستغلال درجات الثقة للجزء الأمامي: لتحسين قاموس "حقيبة الكلمات" (bag-of-words)، وتمثيل التكرار (الهستوغرام) للفيديو، وتمثيل جديد مبني على تحليل الهستوغرام ونواة (kernel) مطورة. استخدمنا هذه درجات الثقة للجزء الأمامي لتمييز الأفعال المدربة على مجموعة بيانات واحدة واختبارها على مجموعة بيانات مختلفة. وأجرينا تجارب واسعة على عدة مجموعات بيانات، أظهرت تحسّنًا في دقة التمييز بين المجموعات مقارنة بالطرق الأساسية.