RaSa: تعلم تمثيل واعٍ بالعلاقة والحساسية للبحث عن الشخص بناءً على النص

البحث عن الشخص بناءً على النص يهدف إلى استرجاع صور الشخص المحدد المعطاة وصفًا نصيًا. المفتاح لمعالجة هذه المهمة الصعبة هو تعلم تمثيلات متعددة الأوضاع قوية. في هذا السياق، نقترح طريقة تعلم تمثيلات واعية بالعلاقة والحساسية (RaSa)، والتي تتضمن مهامين جديدتين: التعلم الواعي بالعلاقة (RA) والتعلم الواعي بالحساسية (SA). من ناحية، تقوم الطرق الحالية بتصنيف تمثيلات جميع الأزواج الإيجابية دون تمييز وتغفل مشكلة الضوضاء التي تسببها الأزواج الإيجابية الضعيفة حيث يكون هناك مطابقات ضوضائية بين النص والصورة المرتبطة به، مما يؤدي إلى التعلم الزائد. يقلل RA من خطر التعلم الزائد من خلال إدخال مهمة كشف العلاقة الإيجابية الجديدة (أي تعلم كيفية التمييز بين الأزواج الإيجابية القوية والضعيفة). ومن ناحية أخرى، يعتبر التعلم الثابت للتمثيل تحت عمليات زيادة البيانات (أي عدم الحساسية لبعض التحويلات) ممارسة عامة لتحسين ثبات التمثيل في الطرق الحالية. بالإضافة إلى ذلك، نشجع التمثيل على اكتشاف التحويلات الحساسة من خلال SA (أي تعلم كيفية كشف الكلمات المستبدلة)، مما يعزز ثبات التمثيل. أظهرت التجارب أن RaSa تتفوق على أفضل الطرق الموجودة حاليًا بنسبة 6.94٪، 4.45٪ و15.35٪ فيما يتعلق بـ Rank@1 على مجموعات بيانات CUHK-PEDES وICFG-PEDES وRSTPReid على التوالي. يمكن الحصول على الكود من الرابط التالي: https://github.com/Flame-Chasers/RaSa.