كشف المركبات عبر الأحجام المتقاطعة RGB-الأشعة تحت الحمراء المستندة إلى الطيارات المُسيرة من خلال التعلم المستشعر بالغموض

تهدف الكشف عن المركبات باستخدام الطائرات المُسيرة إلى تحديد مواقع وفئات المركبات في الصور الجوية، مما يُمكّن من إدارة حركة المرور في المدن الذكية والإنقاذ أثناء الكوارث. وقد بذل الباحثون جهودًا كبيرة في هذا المجال، وحققوا تقدّمًا ملحوظًا. ومع ذلك، يظل التحدي قائماً عندما تكون الكائنات صعبة التمييز، خصوصًا في ظروف الإضاءة المنخفضة. ولحل هذه المشكلة، قمنا ببناء مجموعة بيانات كبيرة للكشف عن المركبات باستخدام الطائرات المُسيرة ببيانات مزدوجة (RGB-الأشعة تحت الحمراء)، وسُمّيت بـ "DroneVehicle". تضم مجموعة DroneVehicle 28,439 زوجًا من الصور المزدوجة (RGB-الأشعة تحت الحمراء)، وتغطي سيناريوهات مختلفة مثل الطرق الحضرية، والأحياء السكنية، ومرائب السيارات، من النهار إلى الليل. وبسبب الفجوة الكبيرة بين صور RGB والصور تحت الحمراء، تقدم الصور المتقاطعة بين الوسائط معلومات فعّالة ومتعددة، ولكنها تحتوي أيضًا على معلومات زائدة. ولحل هذه المعضلة، نقترح إطارًا جديدًا يُسمى UA-CMDet (الكشف عن المركبات عبر الوسائط المتقاطعة مع إدراك عدم اليقين)، والذي يهدف إلى استخلاص معلومات مكملة من الصور المتقاطعة، ما يُحسّن بشكل كبير أداء الكشف في ظروف الإضاءة المنخفضة. وقد صُمّم وحدة إدراك عدم اليقين (UAM) لقياس أوزان عدم اليقين لكل وسيلة، حيث تُحسب هذه الأوزان باستخدام معامل التداخل بين الوسائط (IoU) والقيمة المُضيئة لصورة RGB. علاوةً على ذلك، صممنا خوارزمية تكميلية للإضاءة في عملية تقليل القيم القصوى غير المضمنة (Non-maximum Suppression) عبر الوسائط، لدمج أفضل للمعلومات المميزة لكل وسيلة أثناء عملية الاستنتاج. وقد أظهرت التجارب الواسعة على مجموعة بيانات DroneVehicle المرونة والفعالية الفعلية للطريقة المقترحة في مجال الكشف عبر الوسائط المتقاطعة. يمكن تحميل مجموعة البيانات من الرابط التالي: https://github.com/VisDrone/DroneVehicle.