شبكة دمج في الزمن الفعلي للفصل الدلالي لصور RGB-D التي تشمل كشف العوائق غير المتوقعة للصور المرورية

لقد حققت التصنيف الدلالي تقدماً ملحوظاً بفضل نجاح الشبكات العصبية التلافيفية العميقة. وبالنظر إلى متطلبات القيادة الذاتية، أصبح التصنيف الدلالي في الزمن الفعلي موضوعاً مركزياً للبحث في السنوات الأخيرة. ومع ذلك، لا تزال الدراسات المتعلقة بالتصنيف الدلالي في الزمن الفعلي التي تدمج بين الصور الملونة (RGB) والبيانات العمقية (D) نادرة، رغم توفر معلومات العمق بسهولة في الوقت الحاضر. في هذا البحث، نقترح شبكة تسمى RFNet للتصنيف الدلالي المدمج في الزمن الفعلي، والتي تستغل بفعالية المعلومات المكملة بين النماذج المختلفة. تعتمد RFNet على هيكل شبكة فعّالة، مما يمكّنها من العمل بسرعة كبيرة، وبالتالي تلبي متطلبات تطبيقات المركبات ذاتية القيادة. كما نستخدم تدريباً متعدد المجموعات لدمج كشف العوائق الصغيرة غير المتوقعة، مما يُثري فئات الكائنات القابلة للتعرف، ويُعدّها أكثر قدرة على مواجهة المخاطر غير المتوقعة في العالم الحقيقي. أظهرت مجموعة واسعة من التجارب فعالية إطار عملنا. فعلى مجموعة بيانات Cityscapes، تفوقت طريقة我们的 على أفضل الطرق السابقة في التصنيف الدلالي، مع دقة ممتازة وسرعة استنتاج تبلغ 22 هيرتز عند الدقة الكاملة 2048x1024، متفوقةً على معظم الشبكات الحالية التي تدمج بين RGB وD.