MARS: الاهتمام أكثر بالخصائص البصرية للبحث عن الأشخاص بناءً على النص

البحث عن الأشخاص بناءً على النص (TBPS) هو مشكلة حازت على اهتمام كبير داخل المجتمع البحثي. الهدف من هذه المهمة هو استرجاع صورة أو أكثر لشخص معين بناءً على وصف نصي. الطبيعة متعددة الوسائط للمهمة تتطلب تعلم تمثيلات تربط بين بيانات النص والصورة في فضاء كامن مشترك. يواجه الأنظمة الحالية للبحث عن الأشخاص بناءً على النص تحديين رئيسيين. الأول يعرف بالضوضاء بين الهويات، وهو ناجم عن الغموض وعدم الدقة المتأصل في وصف النص، ويشير إلى كيفية ارتباط وصف الخصائص البصرية بشكل عام بأفراد مختلفين؛ والثاني هو التباينات داخل الهوية الواحدة، والتي تشمل جميع العوامل المزعجة مثل وضع الجسم والإضاءة التي يمكن أن تغير مظهر الخصائص النصية البصرية لنفس الشخص.لحل هذه القضايا، يقدم هذا البحث هندسة جديدة للبحث عن الأشخاص بناءً على النص تُسمى MARS (Mae-Attribute-Relation-Sensitive)، والتي تعزز النماذج الرائدة حاليًا بإدخال مكونين أساسيين: خسارة إعادة الإنشاء البصرية وخسارة الخصائص. يستخدم المكون الأول مُشفِّرًا ذاتيًا مخفيًا مدربًا لإعادة إنشاء أجزاء الصور التي تم حجبها عشوائيًا بمساعدة الوصف النصي. وبذلك يتم تشجيع النموذج على تعلم تمثيلات أكثر تعبيرية وعلاقات نصية-بصرية في الفضاء الكامن. أما خسارة الخصائص، فهي تقوم بتوازن مساهمة أنواع مختلفة من الخصائص، والتي يتم تعريفها كقطع من النص تتكون من صفة ومسمى (adjective-noun chunks). هذه الخسارة تضمن أن كل خاصية يتم أخذها بعين الاعتبار في عملية استرجاع الشخص.أظهرت التجارب الواسعة التي أجريت على ثلاثة مجموعات بيانات شائعة الاستخدام، وهي CUHK-PEDES وICFG-PEDES وRSTPReid، تحسينات في الأداء مع مكاسب كبيرة في مؤشر الدقة المتوسطة (mAP) مقارنة بالأداء الحالي الرائد.