مجموعة بيانات فهم فيديو الحوادث متعددة الوسائط MM-AU

MM-AU عبارة عن مجموعة بيانات واسعة النطاق تركز على فهم مقاطع فيديو الحوادث المتعددة الوسائط، والتي تهدف إلى توفير دعم بيانات عالي الجودة لمجال إدراك القيادة الآمنة. تم إصداره في عام 2024 من قبل باحثين من جامعة شيآن جياوتونغ، وجامعة تشانغآن، والجامعة الوطنية في سنغافورة، وجامعة ولاية كليفلاند، وجامعة نانيانغ التكنولوجية. "نتائج الورقة ذات الصلة هي"فيديو حوادث منظور الأنا الاستدلالي لفهم إدراك القيادة الآمنة"وتم قبولها بواسطة CVPR2024 Highlight.

تتكون مجموعة البيانات من مجموعات بيانات متعددة لحوادث منظور الأنا العام (مثل CCD وA3D وDoTA وDADA-2000) ومقاطع فيديو من منصات الفيديو مثل YouTube وBilibili وTencent. MM-AU هي أكبر مجموعة بيانات حوادث متعددة الوسائط من منظور ذاتي وأكثرها تفصيلاً، وتحتوي على 11,727 مقطع فيديو لحوادث من منظور ذاتي بري، بإجمالي 2,195,613 إطارًا. تغطي هذه الفيديوهات مجموعة متنوعة من سيناريوهات الحوادث وتوفر للباحثين مصدرًا غنيًا بالبيانات.

تحتوي مجموعة البيانات على معلومات توضيحية غنية، بما في ذلك اكتشاف الكائنات ووصف سبب الحادث ووصف النص. من أجل اكتشاف الكائنات، تم توضيح أكثر من 2.23 مليون مربع حدودي لسبع فئات من المشاركين في الطريق (السيارات، وإشارات المرور، والمشاة، والشاحنات، والحافلات، وراكبي الدراجات، والدراجات النارية). بالإضافة إلى ذلك، تشرح مجموعة البيانات أيضًا أكثر من 58650 زوجًا من أسباب حوادث الفيديو، والتي تغطي 58 فئة من الحوادث. يأتي كل مقطع فيديو مصحوبًا بوصف نصي محدد زمنيًا بما في ذلك سبب الحادث واقتراحات الوقاية ووصف فئة الحادث. لا تساعد معلومات التوضيح هذه في تحليل سبب الحادث فحسب، بل توفر أيضًا مرجعًا مهمًا لنظام القيادة الذاتية.