اكتشاف المشاة متعدد الطيف من خلال الكشف والتقسيم المتزامنين

لقد جذب الكشف متعدد الطيف عن المشاة اهتمامًا متزايدًا من المجتمع البحثي بسبب أهميته الحاسمة للكثير من التطبيقات على مدار الساعة (مثل المراقبة بالفيديو والقيادة الذاتية)، خاصة في ظروف الإضاءة غير الكافية. قمنا بإنشاء خط أساس بشري على مجموعة بيانات KAIST وكشفنا أن هناك فجوة كبيرة بين الكواشف الحالية الأفضل والأداء البشري. للحد من هذه الفجوة، نقترح هندسة دمج شبكة، والتي تتكون من شبكة اقتراح متعددة الطيف لإنتاج اقتراحات المشاة، وشبكة تصنيف متعددة الطيف لاحقة لتمييز حالات المشاة عن الحالات السلبية الصعبة. يتم تعلم الشبكة الموحدة من خلال تحسين مشترك لمهمتي كشف المشاة والتقسيم الدلالي. يتم الحصول على الاكتشافات النهائية بدمج المخرجات من مختلف الأطياف وكذلك المرحلتين. يتفوق هذا النهج بشكل كبير على الطرق الرائدة في مجالها في مجموعة بيانات KAIST مع الحفاظ على السرعة. بالإضافة إلى ذلك، نقدم إصدارًا مطهرًا من التسميات التدريبية لمجموعة بيانات KAIST، ونفحص الآثار الناجمة عن أخطاء مختلفة في التسمية. ستستفيد الأبحاث المستقبلية حول هذه المشكلة من الإصدار المطهر الذي يزيل تداخل أخطاء التسمية.