شبكة الاندماج الديناميكي لتعقب RGBT

نظراً لأن الصور المرئية والأشعة تحت الحمراء لديها مزايا وعيوب خاصة بها، فقد اجتذب تتبع RGBT المزيد من الاهتمام. تكمن النقاط الرئيسية في تتبع RGBT في استخراج الميزات ودمجها من الصور المرئية والأشعة تحت الحمراء. تركز معظم طرق تتبع RGBT الحالية على الميزات الفردية (الميزات المستخرجة من صور كاميرا واحدة) والميزات المشتركة (الميزات المستخرجة والمتداخلة من كاميرا RGB وكاميرا حرارية)، مع إهمال المساهمات المختلفة والديناميكية للميزات الفردية والميزات المشتركة لسلسلة مختلفة من أزواج الصور المسجلة. يقترح هذا البحث طريقة جديدة لتتبع RGBT تُسمى شبكة الدمج الديناميكي (DFNet)، والتي تعتمد على هيكل ذو مسارين، حيث يتم استخدام نواة تلافيف غير مشتركة في كل طبقة لاستخراج الميزات الفردية. بالإضافة إلى ذلك، تحتوي DFNet على نوى تلافيف مشتركة لكل طبقة لاستخراج الميزات المشتركة. يتم وزن وتجميع النوى التلافيفية غير المشتركة والنوى التلافيفية المشتركة بشكل متكيف حسب أزواج الصور المختلفة، مما يمكن DFNet من التعامل مع المساهمات المختلفة للسلسلة المختلفة. يتمتع DFNet بسرعة عالية تبلغ 28.658 إطارًا في الثانية. تظهر النتائج التجريبية أن عندما يزيد DFNet فقط بنسبة 0.02% من عمليات الضرب والإضافة (Mult-Adds) عن طريقة الدمج التي تعتمد على نواة التلافيف غير المشتركة، فإن معدل الدقة (PR) ومعدل النجاح (SR) يصلان إلى 88.1% و71.9% على التوالي.