كشف الكائنات متعددة الوسائط من خلال التجميع الاحتمالي

يمكن للكشف عن الكائنات باستخدام مدخلات متعددة الوسائط تحسين العديد من الأنظمة الحساسة للسلامة، مثل المركبات ذاتية القيادة (AV). مستلهمين من تشغيل المركبات ذاتية القيادة في كل من النهار والليل، ندرس كشف الكائنات متعدد الوسائط باستخدام الكاميرات الملونة (RGB) والكاميرات الحرارية، نظرًا لأن الأخيرة توفر توقيعات كائنات أكثر قوة في الظروف الإضاءة الضعيفة. نستكشف استراتيجيات دمج المعلومات من وسائط مختلفة. وتمثل مساهمتنا الرئيسية تقنية تجميع احتمالية تسمى ProbEn، وهي طريقة بسيطة وغير تعليمية تدمج الكشفات من وسائط متعددة. نشتق ProbEn من قاعدة بايز والمبادئ الأساسية التي تفترض الاستقلال الشرطي بين الوسائط. وباستخدام التجميع الاحتمالي، تتعامل ProbEn بذكاء مع حالات غياب وسائط معينة عندما لا يُفعّل كاشف على نفس الكائن. وبشكل مهم، تُحسّن ProbEn بشكل ملحوظ كشف الكائنات متعددة الوسائط حتى عندما لا يُطبّق افتراض الاستقلال الشرطي، مثلاً عند دمج مخرجات أساليب دمج أخرى (سواء كانت جاهزة للاستخدام أو تم تدريبها داخليًا). وقد قمنا بتحقق من فعالية ProbEn على معيارين يحتويان على صور متعددة الوسائط مُحاذاة (KAIST) وغير مُحاذاة (FLIR)، وتبين أن ProbEn تتفوّق على الطرق السابقة بنسبة تزيد عن 13% من حيث الأداء النسبي!