مجموعة بيانات MECCANO: فهم التفاعلات بين الإنسان والأشياء من مقاطع الفيديو الذاتية في مجال يشبه الصناعي

الكاميرات القابلة للارتداء تسمح بجمع صور ومقاطع فيديو لتفاعلات البشر مع العالم. بينما تم دراسة التفاعلات بين الإنسان والأشياء بشكل مكثف في رؤية الشخص الثالث، فإن هذه المشكلة لم تُدرس بشكل كافٍ في الإعدادات الذاتية وفي السيناريوهات الصناعية. لسد هذا الفجوة، نقدم مجموعة البيانات MECCANO، وهي أول مجموعة بيانات للفيديوهات الذاتية لدراسة تفاعلات الإنسان مع الأشياء في إعدادات شبيهة بالصناعية. تم جمع MECCANO من قبل 20 مشاركًا طُلب منهم بناء نموذج دراجة نارية، مما اضطرهم إلى التعامل مع أشياء وأدوات صغيرة. تم تسمية المجموعة بوضوح للأداء المتعلق بتحديد تفاعلات الإنسان مع الأشياء من وجهة نظر ذاتية. تحديدًا، تم تصنيف كل تفاعل زمنيًا (بأقسام الأفعال) ومكانيًا (بمربعات الحدود للأجسام النشطة). باستخدام المجموعة المقترحة، نستكشف أربعة مهام مختلفة تتضمن 1) تحديد الأفعال، 2) الكشف عن الأجسام النشطة، 3) التعرف على الأجسام النشطة و4) الكشف عن تفاعلات الإنسان مع الأشياء من وجهة نظر ذاتية، وهو إصدار مُعاد النظر فيه للمهمة القياسية للكشف عن تفاعلات الإنسان مع الأشياء. تظهر النتائج الأساسية أن مجموعة البيانات MECCANO هي مقاييس صعبة لدراسة التفاعلات الذاتية بين الإنسان والأشياء في السيناريوهات الصناعية الشبيهة. لقد أطلقنا المجموعة بشكل عام على الرابط https://iplab.dmi.unict.it/MECCANO.