محاكاة تساقط الثلوج باستخدام LiDAR للكشف عن الأشياء ثلاثية الأبعاد بشكل قوي

الكشف عن الأجسام ثلاثية الأبعاد هو مهمة مركزية للتطبيقات مثل القيادة الذاتية، حيث يحتاج النظام إلى تحديد موقع وتقييم الوكلاء المروريين المحيطين به، حتى في وجود ظروف جوية غير مواتية. في هذا البحث، نتناول مشكلة الكشف عن الأجسام ثلاثية الأبعاد باستخدام أجهزة LiDAR (ليدار) تحت الثلوج. بسبب صعوبة جمع وتصنيف بيانات التدريب في هذه البيئة، نقترح طريقة قائمة على الفيزياء لمحاكاة تأثير الثلوج على السحب النقطية الحقيقية لـ LiDAR في حالة الطقس الصافية. يُجري طرحتنا عينات من جزيئات الثلج في الفضاء ثنائي الأبعاد لكل خط ليدار ويستخدم الهندسة الناجمة لتعديل القياس لكل شعاع ليدار حسب الاقتضاء. بالإضافة إلى ذلك، بما أن الثلج غالباً ما يسبب رطوبة على الأرض، فإننا نحاكي أيضاً الرطوبة الأرضية على السحب النقطية لـ LiDAR. نستخدم محاكاتنا لإنشاء بيانات ليدار ثلجية جزئياً مصنعة ونستفيد من هذه البيانات لتدريب نماذج الكشف عن الأجسام ثلاثية الأبعاد التي تكون مقاومة للثلوج. نقوم بإجراء تقييم شامل باستخدام عدة طرق متقدمة للكشف عن الأجسام ثلاثية الأبعاد ونظهر أن محاكتنا تحقق ارتفاعاً كبيراً في الأداء على مجموعة بيانات STF الثلجية الحقيقية مقارنة بالأسس الصافية للطقس والمحاكات المنافسة، دون التضحية بالأداء في الطقس الصافي. رمز البرمجيات الخاص بنا متاح على www.github.com/SysCV/LiDAR_snow_sim.