MLPD: كاشف مشاة متعدد التصنيفات في المجال متعدد الطيف

تم دراسة اكتشاف المشاة متعدد الطيف بشكل مكثف باعتباره حلاً واعدًا متعدد الوسائط للتعامل مع التغيرات في الإضاءة والطقس. ومعظم النماذج متعددة الوسائط تتبنى افتراضًا بأن جميع المدخلات متطابقة تمامًا من حيث التداخل. ومع ذلك، فإن أزواج البيانات هذه ليست شائعة في التطبيقات العملية بسبب تعقيد تكوين المستشعرات الحالية. في هذه الرسالة، نتناول مشكلة اكتشاف المشاة متعدد الطيف، حيث لا تكون جميع بيانات المدخلات مزامنة (مُزَوَّجة). ولتحقيق ذلك، نقترح إطارًا جديدًا للكشف من مرحلة واحدة يستخدم التعلم متعدد التسميات لاستخلاص ميزات تأخذ بعين الاعتبار حالة المدخلات، وذلك من خلال تعيين تسمية منفصلة وفقًا للحالة المحددة لزوج الصور متعدد الطيف. كما نقدم استراتيجية تحسين جديدة من خلال تطبيق تحولات هندسية لصنع صور متعددة الطيف غير مزامنة. وفي تجارب واسعة النطاق، نُظهر فعالية الطريقة المقترحة في ظروف واقعية متنوعة، مثل الصور المتطابقة تمامًا والصور ذات التداخل الجزئي في أنظمة الرؤية الاستيريو. يمكن الوصول إلى الكود وفيديو العرض التوضيحي عبر الرابط التالي: https://github.com/sejong-rcv/MLPD-Multi-Label-Pedestrian-Detection.