MMHU: معيار متعدد الوسائط على نطاق ضخم لفهم السلوك البشري

البشر هم مكونات أساسية في نظام النقل البيئي، وفهم سلوكهم ضروري لتسهيل تطوير أنظمة القيادة الآمنة. رغم التقدم الحديث الذي استكشف جوانب مختلفة من السلوك البشري مثل الحركة، المسارات، والنيات (intention)، إلا أنه لا يزال يفتقر إلى معيار شامل لتقييم فهم السلوك البشري في القيادة الذاتية. في هذا البحث، نقترح MMHU، وهو معيار على نطاق واسع لتحليل السلوك البشري يتميز بوجود تسميات غنية مثل حركة الإنسان والمسارات، وصف نصي للحركات البشرية، نوايا الإنسان، والتسميات السلوكية الحرجة ذات الصلة بسلامة القيادة. يتضمن مجموعة البيانات الخاصة بنا 57 ألف مقطع حركي بشري و1.73 مليون إطار تم جمعها من مصادر متنوعة، بما في ذلك قواعد بيانات القيادة المعروفة مثل Waymo، مقاطع الفيديو الطبيعية من YouTube، والبيانات التي تم جمعها بأنفسنا. تم تطوير خط أنابيب التسمية مع وجود الإنسان في الحلقة لإنتاج تسميات سلوكية غنية. نوفر تحليلًا شاملًا لمجموعة البيانات وتقييمًا لمهام متعددة تتراوح بين التنبؤ بالحركة وإنشاء الحركة وتقديم إجابات على أسئلة السلوك البشري، مما يقدم مجموعة تقييم شاملة. صفحة المشروع: https://MMHU-Benchmark.github.io.