دمج البيانات متعددة الطيف من خلال الشبكات العصبية العميقة الواعية للإضاءة للكشف عن المشاة

لقد حظي اكتشاف المشاة متعدد الطيف باهتمام واسع في السنوات الأخيرة كحل واعد لتسهيل اكتشاف الأهداف البشرية بشكل قوي لتطبيقات على مدار الساعة (مثل المراقبة الأمنية والقيادة الذاتية). وفي هذا البحث، نوضح كيف يمكن استخدام المعلومات الإضاءية المشفرة في الصور متعددة الطيف لتعزيز أداء اكتشاف المشاة بشكل كبير. يتم تقديم آلية توزيع وزن جديدة تتعلق بالإضاءة لوصف حالة الإضاءة في المشهد بدقة. يتم دمج هذه المعلومات الإضاءية في شبكات عصبية تقنية التعلم العميقة ذات التيارين لتعلم الخصائص المتعلقة بالبشر من الصور متعددة الطيف تحت ظروف إضاءة مختلفة (النهار والليل). بالإضافة إلى ذلك، استخدمنا المعلومات الإضاءية مع البيانات متعددة الطيف لإنشاء تقسيم دلالي أكثر دقة، والذي يستخدم بدوره لتحسين دقة اكتشاف المشاة. جمعنا كل هذه العناصر معًا لنقدم إطار عمل قوي لاكتشاف المشاة متعدد الطيف يعتمد على تعلم متعدد المهام للإضاءة المرتبطة باكتشاف المشاة والتقسيم الدلالي. تم تدريب طريقة المقترحة لدينا بطريقة شاملة باستخدام دالة خسارة متعددة المهام مصممة بعناية، وأظهرت تفوقها على أفضل الأساليب الحالية في مجموعة بيانات KAIST لمشاة متعددي الطيف.