Command Palette
Search for a command to run...
البحث عن شخص بناءً على النص من خلال التوافق المدعوم بالسمات
البحث عن شخص بناءً على النص من خلال التوافق المدعوم بالسمات
Surbhi Aggarwal R. Anirban Chakraborty Venkatesh Babu
الملخص
تهدف عملية البحث عن الأشخاص القائمة على النصوص إلى استرجاع صور المشاة التي تطابق إلى أقصى حد استفسارًا نصيًا معطى. تستخدم الطرق الحالية معلومات معرف الفئة (class-id) للحصول على ميزات تمييزية وتحافظ على الهوية. ومع ذلك، لم يتم استكشاف ما إذا كان من المفيد ضمان صريح لحفظ المعاني الخاصة بالبيانات. في العمل المقترح، نهدف إلى إنشاء تمثيلات تحافظ على المعاني من خلال مهمة إضافية لتنبؤ السمات. وبما أن تسمية السمات غالبًا ما تكون غير متوفرة في مهام البحث عن الأشخاص القائمة على النصوص، فإننا نستخرجها أولًا من مجموعة النصوص (text corpus). ثم تُستخدم هذه السمات كوسيلة لسد الفجوة بين الوسائط بين الإدخالات الصورية والنصية، بالإضافة إلى تحسين عملية تعلم التمثيل. باختصار، نقترح منهجية للبحث عن الأشخاص القائمة على النصوص من خلال تعلُّم فضاء مُحَفَّز بالسمات إلى جانب فضاء مُحَفَّز بمعلومات الفئة، واستخدام كليهما للحصول على نتائج الاسترجاع. أظهرت تجاربنا على مجموعة بيانات المعيار CUHK-PEDES أن تعلُّم الفضاء السميتي لا يُحسّن الأداء فحسب، بل يحقق أيضًا دقة ذروة (Rank-1) قياسية بلغت 56.68٪، ويُنتج ميزات قابلة للتفسير البشري.