Demo2Vec: استنتاج إمكانات الكائنات من الفيديوهات عبر الإنترنت

يمثل مشاهدة التمثيلات الخبيرة طريقة مهمة يعتمد عليها البشر والروبوتات لاستنتاج الإمكانيات (Affordances) للأشياء غير المرئية. في هذه الورقة، نتناول مشكلة استنتاج إمكانيات الأشياء من خلال التمثيل المميز (Feature Embedding) لفيديوهات التمثيل. وقد قمنا بتصميم نموذج يُسمى Demo2Vec، الذي يتعلم استخلاص متجهات مدمجة (Embedded Vectors) من فيديوهات التمثيل، ويتوقع منطقة التفاعل والعلامة الوظيفية (Action Label) على صورة الهدف للجسم نفسه. كما قدمنا مجموعة بيانات تُسمى "مجموعة بيانات المراجعات المنتجية عبر الإنترنت للإمكانيات" (OPRA)، من خلال جمع وتسمية فيديوهات مراجعات منتجات متنوعة من يوتيوب. وتفوق نموذج Demo2Vec على مختلف النماذج القائمة على الشبكات العصبية التكرارية (Recurrent Neural Network Baselines) على مجموعة البيانات التي تم جمعها.