شبكات العصبونات العميقة متعددة الطيف للكشف عن المشاة

الكشف عن المشاة متعدد الطيف ضروري للتطبيقات على مدار الساعة، مثل المراقبة والقيادة الذاتية. قمنا بتحليل عمقي لـ Faster R-CNN في مهمة الكشف عن المشاة متعدد الطيف، ثم نموذجها كمشكلة دمج شبكات الCONV (ConvNet). بالإضافة إلى ذلك، اكتشفنا أن أجهزة الكشف عن المشاة المستندة إلى شبكات الCONV والمدربة على الصور الملونة أو الحرارية بشكل منفصل توفر معلومات مكملة في تمييز حالات البشر. لذلك، هناك إمكانية كبيرة لتحسين الكشف عن المشاة من خلال استخدام الصور الملونة والحرارية في شبكات DNNs بشكل متزامن. لقد صممنا بعناية أربع هياكل للدمج بين شبكات الCONV تدمج شبكتين فرعيتين على مراحل مختلفة من شبكات DNNs، وكلها تحقق أداءً أفضل مقارنة بمحدد الأساس. نتائج تجاربنا على مقاييس مشاة جامعة كاיסט (KAIST) تظهر أن نموذج الدمج النصفي (Halfway Fusion) الذي يقوم بالدمج على الخصائص الوسيطة للشبكات التلافيفية يتفوق على طريقة الأساس بنسبة 11٪ ويحقق معدل فقدان أقل بنسبة 3.5٪ مقارنة بالهياكل المقترحة الأخرى.