تعلم الأنشطة البشرية وفرص استخدام الأشياء من مقاطع الفيديو RGB-D

فهم الأنشطة البشرية وقابلية الاستخدام للأشياء هي مهارتان مهمتان للغاية، خاصة بالنسبة للروبوتات الشخصية التي تعمل في بيئات بشرية. في هذا البحث، نتناول مشكلة استخراج تسمية وصفية للسلسلة الفرعية من الأنشطة التي يقوم بها الإنسان، وأهم من ذلك، لتفاعلاتهم مع الأشياء على شكل قابلية استخدم مرتبطة. بالنظر إلى فيديو RGB-D، نقوم بتقديم نموذج مشترك لأنشطة الإنسان وقابلية الاستخدام للأجسام كحقل عشوائي ماركوفي (Markov random field)، حيث تمثل العقد الأجسام والأنشطة الفرعية، بينما تمثل الحواف العلاقات بين قابلية الاستخدام للأجسام، علاقاتها مع الأنشطة الفرعية، وتطورها عبر الزمن. نصيغ مشكلة التعلم باستخدام نهج آلة المتجهات الداعمة الهيكلية (structural support vector machine - SSVM)، حيث يتم اعتبار التسميات عبر تقسيمات زمنية بديلة كمتغيرات خفية. اختبرنا طريقة عملنا على مجموعة بيانات صعبة تتكون من 120 فيديو نشاط تم جمعها من 4 أفراد، وحصلنا على دقة بلغت 79.4٪ لقابلية الاستخدام، 63.4٪ للنشاط الفرعي و75.0٪ لتسمية النشاط الرفيع المستوى. ثم نوضح استخدام مثل هذه التسميات الوصفية في تنفيذ المهام المساعدة بواسطة روبوت PR2.