مسار القصيرة المحلية متعددة الوسائط والتعزيز العالمي لتمييز الأشخاص في الصور المرئية والحرارية

بالإضافة إلى الأخذ بعين الاعتبار صعوبة التعرف الناجمة عن وضعية الجسم البشري والتغطية، من الضروري أيضًا حل الاختلافات النمطية الناجمة عن أنظمة التصوير المختلفة في مهمة إعادة تعريف الشخص عبر الأنظمة المرئية والحرارية (VT-ReID). في هذا البحث، نقترح وحدات المسار المحلي الأقصر والتعزيز العالمي عبر الأنظمة (CM-LSP-GE)، وهي شبكة ثنائية التيار تعتمد على تعلم الخصائص المحلية والعالمية بشكل مشترك. الفكرة الأساسية لهذا البحث هي استخدام محاذاة الخصائص المحلية لحل مشكلة التغطية، وحل الاختلافات النمطية من خلال تعزيز الخصائص العالمية. أولاً، تم تصميم شبكة ResNet ثنائية التيار المعتمدة على الانتباه لاستخراج خصائص ذات نظامين مختلفين ورسمها في فضاء خاص بالخصائص الموحدة. ثانياً، لحل مشكلتي وضعية الجسم البشري والتغطية عبر الأنظمة، يتم قطع الصور أفقيًا إلى عدة أجزاء متساوية للحصول على الخصائص المحلية واستخدام أقصر مسار بين الخصائص المحلية في رسومتين لتحقيق محاذاة دقيقة للخصائص المحلية. ثالثاً، يتم تطبيق استراتيجية التعزيز على الخصائص العالمية باستخدام وحدة التعزيز المطبقة بالتطبيع الدُفعة، مما يؤدي إلى تعزيز مختلف بين الفئات المختلفة. تساهم استراتيجية دمج الخسائر متعددة الحبيبات في تحسين أداء الخوارزمية بشكل أكبر. رابعاً وأخيرًا، يتم استخدام آلية التعلم المشترك للخصائص المحلية والعالمية لتحسين دقة إعادة تعريف الشخص عبر الأنظمة. تظهر نتائج التجارب على قاعدتي بيانات نموذجيتن أن نموذجنا يتفوق بشكل واضح على أفضل الأساليب الحالية. وبشكل خاص، يمكن لنموذجنا تحقيق زيادة بنسبة 2.89٪ و7.96٪ في جميع معايير البحث Rank-1 وmAP على قاعدة بيانات SYSU-MM01. سيتم إطلاق الكود المصدر قريبًا.