التعلم غير المنظوم من مقاطع الفيديو التوجيهية المروية

نتناول مشكلة تعلم الخطوات الرئيسية لإنجاز مهمة معينة، مثل تغيير إطارة السيارة، بشكل آلي من مجموعة من مقاطع الفيديو التعليمية المروية. تتضمن مساهمات هذا البحث ثلاثة جوانب. أولاً، نطور نهجًا جديدًا للتعلم غير المشرف يستفيد من الطبيعة التكاملية للفيديو الدخلي والرواية المرتبطة به. يحل هذا الأسلوب مشكلتين في التجميع، واحدة في النص وأخرى في الفيديو، يتم تطبيقهما الواحد بعد الآخر وربطهما بقيود مشتركة للحصول على سلسلة متماسكة واحدة من الخطوات في كلا الوسيلتين. ثانياً، نجمع ونصنف مجموعة بيانات جديدة ومثيرة للتحدي تتكون من مقاطع فيديو تعليمية حقيقية تم جمعها من الإنترنت. تحتوي هذه المجموعة على حوالي 800,000 إطار لخمس مهام مختلفة تتضمن تفاعلات معقدة بين الأشخاص والأجسام، وتُلتقط في مجموعة متنوعة من البيئات الداخلية والخارجية. ثالثاً، نثبت بالتجربة أن الطريقة المقترحة يمكنها اكتشاف الخطوات الرئيسية لتحقيق المهمة وتوضيح موقعها في مقاطع الفيديو الدخيلة بشكل آلي وغير مشرف.