التعلم متعدد الوسائط المُحاذاة الضعيفة للكشف عن المشاة متعددي الطيف

كشفت الكشفية متعددة الطيف عن المارة مزايا كبيرة في ظروف الإضاءة السيئة، حيث توفر الصور الحرارية معلومات مكملة للصورة الملونة. ومع ذلك، تعاني البيانات المتعددة الطيف الحقيقية من مشكلة انحراف الموقع، أي أن أزواج الصور الملونة والحرارية ليست محاذاة بدقة، مما يجعل موقع الجسم يختلف بين الطيفين. في الطرق المستندة إلى التعلم العميق، تجعل هذه المشكلة من الصعب دمج خرائط الميزات من كلا الطيفين وتربك تدريب الشبكات العصبية التلافيفية (CNN). في هذا البحث، نقترح طريقة جديدة تسمى AR-CNN (شبكة AR التلافيفية) لمعالجة البيانات متعددة الطيف ذات التحديد الضعيف بطريقة شاملة. أولاً، صممنا وحدة تحديد ميزات المنطقة (RFA) لاكتشاف انحراف الموقع ومحاذاة ميزات المنطقة بشكل تكيفي بين الطيفين. ثانياً، قدمنا طريقة دمج متعدد الأطياف جديدة تقوم بإعادة وزن الميزات لاختيار الميزات الأكثر ثقة وإلغاء تأثير الميزات غير الفعالة. بالإضافة إلى ذلك، اقترحنا استراتيجية جديدة لتذبذب RoI لتحسين القدرة على مقاومة أنماط الانحراف غير المتوقعة لأجهزة وأنظمة مختلفة. وأخيرًا، بما أن طريقتنا تعتمد على نوع جديد من التسمية: صناديق الحدود التي تتطابق مع كل طيف، فقد قمنا بإعادة تسمية مجموعة بيانات KAIST يدويًا بتحديد صناديق الحدود في كلا الطيفين وبناء علاقاتها، مما يوفر مجموعة بيانات KAIST-Paired Annotation الجديدة. تم إجراء اختبارات تجريبية واسعة النطاق على مجموعات البيانات الموجودة لبيان فعالية ومتانة الطريقة المقترحة. يمكن الحصول على الرمز والمعلومات من https://github.com/luzhang16/AR-CNN.