هل تتحرك كما تتحدث؟ استكشاف تصنيف إجراءات السائق القائمة على الوضع باستخدام شبكات اعتراف بالصوت

تمييز المشتتات على الطرق أمر بالغ الأهمية لتقليل الحوادث المرورية. تُستخدم عادةً الشبكات القائمة على الفيديو، لكنها محدودة من حيث التكلفة الحسابية وتكون عرضة لتغيرات الزاوية المرئية. في هذا البحث، نقترح منهجية جديدة لتصنيف أفعال السائق بناءً على وضعية الجسم باستخدام شبكات معالجة الصوت، وهي أخف وزناً وأكثر مقاومة لتغيرات الزاوية مقارنة بالطرق القائمة على الفيديو. نستفيد من التشابه في ترميز المعلومات بين بيانات الصوت والوضعية، حيث نمثل الوضعيات كنقاط رئيسية عبر الزمن. تعتمد هندستنا على نموذج Squeezeformer، وهو نموذج فعّال قائمة على الانتباه لمعالجة الصوت. كما نقدم مجموعة من تقنيات تضخيم البيانات لتعزيز القدرة على التعميم. أظهرت التجارب على مجموعة بيانات Drive&Act أداءً متفوقاً مقارنة بالطرق الرائدة حديثاً. علاوة على ذلك، نستعرض دمج معلومات الكائنات ونحلل تأثير تغيرات الزاوية. تُبرز نتائجنا فعالية ومتانة شبكات معالجة الصوت في تصنيف الأفعال القائمة على الوضعية.