إعادة النظر في مقاييس تتبع RGBT من منظور صلاحية الوسائط: مقاييس جديدة، مشكلة وحل

يحظى تتبع RGBT باهتمام متزايد بسبب صلابته في سيناريوهات التبرير متعدد الوسائط (MMW)، مثل الليل والظروف الجوية السيئة، حيث يفشل الاعتماد على وسيلة استشعار واحدة في ضمان نتائج تتبع مستقرة. ومع ذلك، فإن معظم المعايير الحالية تحتوي على مقاطع فيديو تم جمعها في ظروف شائعة تكون فيها معلومات RGB والأشعة تحت الحمراء الحرارية (TIR) ذات جودة كافية. وهذا يضعف تمثيلية المعايير الحالية في ظروف التصوير الشديدة، مما يؤدي إلى فشل التتبع في سيناريوهات MMW. لسد هذه الفجوة، نقدم معيارًا جديدًا يأخذ بعين الاعتبار صلاحية الوسيلة، وهو MV-RGBT، الذي تم التقاطه خصيصًا من سيناريوهات MMW حيث تكون إحدى الوسيلتين RGB (إضاءة متطرفة) أو TIR (انقطاع حراري) غير صالحة. ولذلك يتم تقسيمه إلى مجموعتين فرعيتين حسب الوسيلة الصالحة، مما يقدم وجهة نظر تركيبية جديدة للتقييم ويقدم رؤى قيمة للتصاميم المستقبلية. بالإضافة إلى ذلك، يعتبر MV-RGBT أكثر المعايير تنوعًا من نوعه، حيث يتضمن 36 فئة مختلفة من الأشياء التي تم التقاطها عبر 19 مشهدًا متميزًا. كما أنه وفي ضوء ظروف التصوير الشديدة في سيناريوهات MMW، يتم طرح مشكلة جديدة في تتبع RGBT تُسمى "متى يجب الدمج" (when to fuse) لتحفيز تطوير استراتيجيات الدمج لهذه السيناريوهات. لتسهيل مناقشتها، نقترح حلًّا جديدًا يستخدم خليطًا من الخبراء ويُسمى MoETrack، حيث يولد كل خبير نتائج تتبع مستقلة مع درجة ثقة. تظهر النتائج الواسعة الإمكانات الهامة لمقياس MV-RGBT في تطوير تتبع RGBT وتؤدي إلى الاستنتاج بأن الدمج ليس دائمًا مفيدًا، خاصة في سيناريوهات MMW. علاوة على ذلك، حقق MoETrack أفضل النتائج الحالية على عدة معايير، بما في ذلك MV-RGBT وGTOT وLasHeR. Github: https://github.com/Zhangyong-Tang/MVRGBT.