من فائض البيانات إلى تنظيم البيانات: نموذج تصفية-WoRA لبحث الشخص القائم على النص بكفاءة

في جهود البحث عن الأشخاص بناءً على النص، برزت توليد البيانات كممارسات سائدة، معالجة مخاوف حماية الخصوصية والمهام الشاقة لل_annotation_ اليدوي. رغم أن عدد البيانات المصنعة يمكن أن يكون لا نهائي نظريًا، إلا أن التحدي العلمي يبقى حول كمية البيانات المُولَّدة التي تغذي بشكل مثالي تدريب النماذج اللاحقة. لقد لاحظنا أن فقط مجموعة فرعية من البيانات في هذه المجموعات المصطنعة تلعب دورًا حاسمًا. لذلك، نقدم نموذجًا جديدًا يسمى Filtering-WoRA، والذي يحتوي على خوارزمية فلترة لتحديد هذا الجزء الحاسم من البيانات واستراتيجية التعلم WoRA (التكيف المرتب بتقليل الوزن) للضبط الدقيق الخفيف. تعتمد خوارزمية الفلترة على صلة الوسائط المتعددة للتخلص من العديد من أزواج التوافق الخشن. مع انخفاض عدد البيانات، لا نحتاج إلى ضبط دقيق للنموذج بأكمله. لذلك، نقترح استراتيجية التعلم WoRA لتحديث جزء بسيط من معلمات النموذج بكفاءة. تقوم WoRA بتبسيط عملية التعلم، مما يتيح زيادة الكفاءة في استخلاص المعرفة من بيانات أقل ولكنها قوية. أثبتت التجارب الواسعة فعالية التدريب الأولي، حيث حقق نموذجنا أداءً متقدم وكفؤًا في استرجاع المعلومات على مقاييس حقيقية وتحديدها. وبشكل لافت للنظر، حققنا نسبة mAP تنافسية بلغت 67.02% على مجموعة بيانات CUHK-PEDES مع تقليص وقت تدريب النموذج بنسبة 19.82%.