ISSAFE: تحسين التجزئة الدلالية في الحوادث من خلال دمج البيانات القائمة على الحوادث

ضمان سلامة جميع مشاركي حركة المرور هو شرط أساسي لتقريب المركبات الذكية من التطبيقات العملية. يجب أن لا تكتفي أنظمة المساعدة فقط بتحقيق دقة عالية في الظروف العادية، بل يجب أن تحقق أيضًا إدراكًا قويًا ومستقرًا في المواقف القصوى. ومع ذلك، فإن الحوادث المرورية التي تتضمن اصطدامات بالأجسام، أو تشوهات، أو انقلابات، وغيرها من الحالات التي لا تظهر في معظم مجموعات التدريب، ستقوض أداء النماذج الحالية للفصل الدلالي بشكل كبير. ولحل هذه المشكلة، نقدم مهمة نادرة التناول تتعلق بفصل الدلالة في السيناريوهات الحوادثية، إلى جانب مجموعة بيانات حوادث مُسمّاة DADA-seg. وتتضمن هذه المجموعة 313 تسلسلاً مختلفًا من الحوادث، مع 40 إطارًا في كل تسلسل، حيث تقع نوافذ الزمن قبل وقوع الحادث وخلاله. ويتم ترميز كل إطار رقم 11 يدويًا لتمكين المقارنة وقياس أداء الفصل الدلالي. علاوةً على ذلك، نقترح معمارية جديدة للفصل الدلالي متعددة الوسائط تعتمد على الأحداث، تُسمى ISSAFE. تشير نتائج تجاربنا إلى أن البيانات القائمة على الأحداث يمكن أن توفر معلومات مكملة لاستقرار الفصل الدلالي في الظروف الصعبة، من خلال الحفاظ على التفاصيل الدقيقة في حركة الأجسام المتحركة بسرعة (أجسام التصادم) أثناء الحوادث. ويحقق نهجنا مكاسب في أداء المقياس المعياري (mIoU) بنسبة +8.2٪ على مجموعة التقييم المقترحة، متفوقًا على أكثر من 10 طرق حديثة متطورة في مجال الفصل الدلالي. وتم إثبات فعالية معمارية ISSAFE بشكل متسق على النماذج التي تم تدريبها على قواعد بيانات مصدر متعددة، بما في ذلك Cityscapes وKITTI-360 وBDD وApolloScape.