بحث عن الشخص بناءً على النص مع بيانات محدودة

البحث عن الأشخاص بناءً على النص (TBPS) يهدف إلى استرجاع شخص مستهدف من معرض صور باستخدام استعلام نصي وصفي. حل هذه المهمة المعقدة للاسترجاع عبر الأنظمة الحسية الدقيقة يعد تحديًا، وهو ما يتعذر أكثر بسبب نقص البيانات على نطاق واسع. في هذا البحث، نقدم إطارًا يحتوي على مكونين جديدين لمعالجة المشكلات التي تنشأ من البيانات المحدودة. أولاً، للاستفادة الكاملة من قواعد البيانات الصغيرة الحجم الموجودة لتحقيق تعلم خصائص أكثر تمييزًا، نقدم إطار تعلم التباين الزماني عبر الأنظمة الحسية لتثري بيانات التدريب لمجموعة صغيرة معينة (mini-batch). ثانيًا، نقترح نقل المعرفة المستفادة من قواعد البيانات الكبيرة الحجم الموجودة والتي تحتوي على أزواج صورة-نص من مجالات مشكلات مختلفة تمامًا لتعويض نقص بيانات تدريب TBPS. تم تصميم طريقة التعلم المنقول بحيث يمكن نقل المعلومات المفيدة رغم الفجوة الكبيرة بين المجالات. بفضل هذه المكونات، حققت طريقتنا أفضل مستوى جديد في مجموعة بيانات CUHK-PEDES مع تحسينات كبيرة على الأعمال السابقة فيما يتعلق بـ Rank-1 و mAP. رمزنا متاح على https://github.com/BrandonHanx/TextReID.