INSANet: شبكة انتباه طيفي داخلي-خارجي (INtra-INter Spectral Attention Network) لدمج فعّال للسمات في كشف المشاة متعدد الطيف

إن كشف المشاة يُعد مهمة بالغة الأهمية لأنظمة الحماية الحاسمة، لكن كشف المشاة يُعد تحديًا كبيرًا في ظروف الإضاءة المنخفضة والطقس السيئ. يمكن استخدام الصور الحرارية لتحسين المقاومة من خلال توفير معلومات مكملة للصور RGB. أظهرت الدراسات السابقة أن دمج الميزات متعددة النماذج باستخدام العمليات التلافيفية يمكن أن يكون فعّالاً، لكن هذه الأساليب تعتمد فقط على الارتباطات الموضعية للميزات، مما قد يؤدي إلى تدهور في الأداء. ولحل هذه المشكلة، نقترح شبكة تجميع مبتكرة تعتمد على الانتباه، وتُعرف بـ INSANet (شبكة الانتباه الداخلي والخارجي بين الطيفية)، التي تُمكّن من التقاط المعلومات العالمية داخل الطيفية وخارجها. وتتكون الشبكة من كتل انتباه داخلية وخارجية بين الطيفية، مما يسمح للنموذج بتعلم العلاقات الطيفية المتبادلة. علاوةً على ذلك، حددنا وجود عدم توازن في مجموعة البيانات متعددة الطيف ناتج عن عدة عوامل، وصممنا استراتيجية تكبير (augmentation) تقلل من التجمعات المركزة وتمكّن النموذج من تعلّم مواقع المشاة المتنوعة. تُظهر التجارب الواسعة فعالية الأساليب المقترحة، حيث تحقق أداءً يُعدّ من أفضل الأداءات في مجموعة بيانات KAIST وLLVIP. وأخيرًا، أجرينا تقييمًا أداءً إقليميًا لإثبات فعالية الشبكة المقترحة في مناطق مختلفة.