تحسين الكشف عن المشاة متعدد الطيف من خلال معالجة مشاكل عدم التوازن بين الوسائط

يمكن للكشف عن المشاة متعدد الطيف التكيّف مع ظروف الإضاءة الضعيفة من خلال الاستفادة من وحدتي الألوان والحرارة. ومع ذلك، لا يزال هناك نقص في الرؤى العميقة حول كيفية دمج هاتين الوحدتين بشكل فعّال. بالمقارنة مع الكشف التقليدي عن المشاة، نلاحظ أن الكشف متعدد الطيف يعاني من مشكلة عدم التوازن بين الوحدتين، وهي ما يعيق عملية التحسين في الشبكة الثنائية الوحدات ويقلل من أداء الكاشف. مستوحى من هذه الملاحظة، نقترح شبكة توازن الوحدات (MBNet) التي تُسهّل عملية التحسين بطريقة أكثر مرونة وتوازناً. أولاً، نصمم وحدة جديدة تُسمى "دمج واعٍ بالوحدة التفاضلية" (DMAF) لجعل الوحدتين يكملان بعضهما البعض. ثانيًا، نُصمم وحدة "مُحاذاة الميزات واعية بالإضاءة" التي تختار الميزات المكملة بناءً على ظروف الإضاءة وتحاذي ميزات الوحدتين بشكل تلقائي. أظهرت النتائج التجريبية الواسعة أن MBNet تتفوّق على أحدث التقنيات في كلا مجموعتي بيانات KAIST وCVC-14 متعدد الطيف، من حيث الدقة والكفاءة الحسابية. يمكن الوصول إلى الكود عبر الرابط: https://github.com/CalayZhou/MBNet.