IndustReal: مجموعة بيانات لتحديد خطوات الإجراءات ومعالجة أخطاء التنفيذ في مقاطع الفيديو الذاتية في بيئة تشبه الصناعية

رغم أن التعرف على الأفعال في المهام الإجرائية قد حظي باهتمام ملحوظ، إلا أنه يعاني من عيب أساسي يتمثل في عدم توفير أي مقياس للنجاح في هذه الأفعال. وهذا يحد من قابلية تطبيق مثل هذه الأنظمة خاصة في المجال الصناعي، حيث أن نتيجة الأفعال الإجرائية غالباً ما تكون أهم بكثير من مجرد تنفيذها. لمعالجة هذا القصور، نحدد مهمة جديدة تسمى التعرف على خطوات الإجراء (PSR)، مع التركيز على التعرف على إكمال الخطوات الإجرائية بشكل صحيح وترتيبها. بالإضافة إلى المهمة الجديدة، نقدم أيضاً مجموعة البيانات متعددة الوسائط IndustReal. بخلاف المجموعات المتاحة حالياً، تحتوي IndustReal على أخطاء إجرائية (مثل الإغفال) وأخطاء في التنفيذ. جزء كبير من هذه الأخطاء موجود حصرياً في مجموعات التحقق والاختبار، مما يجعل IndustReal مناسبة لتقييم صلابة الخوارزميات أمام أخطاء جديدة غير مرئية. بالإضافة إلى ذلك، لتشجيع قابلية إعادة الإنتاج والسماح بالنهج القابل للتوسع الذي يتم تدريبه على بيانات اصطناعية، فإن نماذج 3D لجميع الأجزاء متاحة للجمهور. تم تقديم التسميات وأداء المقاييس القياسية للتعرف على الأفعال وكشف حالة التجميع، وكذلك للمهمة الجديدة PSR. يمكن الحصول على IndustReal رفقة الكود وأوزان النموذج من الرابط التالي: https://github.com/TimSchoonbeek/IndustReal .