HyperAIHyperAI

Command Palette

Search for a command to run...

شبكة انتباه جومبل الهرمية للبحث عن الأشخاص بناءً على النص

Tao Mei Zheng-Jun Zha Jiawei Liu Wu Liu Kecheng Zheng

الملخص

تهدف عملية البحث عن الأشخاص القائمة على النصوص إلى استرجاع صور الأشخاص التي تتطابق بشكل أفضل مع وصف نصي معطى من بين صور المعرض. استخدمت الطرق السابقة آلية الانتباه الناعم لاستنتاج التوافيق المعنى بين مناطق الصورة والكلمات المقابلة لها في الجملة. ومع ذلك، قد تؤدي هذه الطرق إلى دمج ميزات متعددة الوسائط غير ذات صلة معًا، مما يسبب مشكلة التكرار في التوافق. في هذا العمل، نقترح شبكة انتباه جوبل هيراركية جديدة للبحث عن الأشخاص القائم على النصوص من خلال خوارزمية إعادة بارامترية جوبل للـ top-k. وبشكل خاص، تقوم الشبكة باختيار تلقائي للمناطق الصورية ذات الصلة الدلالية القوية والكلمات أو العبارات المقابلة من النصوص، بهدف تحقيق توافق دقيق وحساب مماثلة دقيق. تتيح هذه الاستراتيجية القائمة على الاختيار القوي دمج ميزات متعددة الوسائط ذات صلة قوية، مما يخفف من مشكلة التكرار في التوافق. وفي الوقت نفسه، تم تصميم خوارزمية إعادة بارامترية جوبل للـ top-k كمُقدّر للمنحدر منخفض التباين وغير متحيّز لمعالجة مشكلة التفرع في آلية الانتباه القوي بطريقة نهائية (end-to-end). علاوة على ذلك، تُطبّق الشبكة استراتيجية توافق هيراركية تكيفية من ثلاث مستويات مختلفة من الدقة، أي على مستوى الكلمة، وعلى مستوى العبارة، وعلى مستوى الجملة، بهدف تحقيق توافق دقيق للغاية. تُظهر النتائج التجريبية الواسعة الأداء المتميز مقارنة بالطرق السابقة. ومقارنة بالطريقة الأفضل الموجودة، نحقق تحسينات نسبية قدرها 8.24% في دقة الترتيب (Rank-1) و7.6% في متوسط الدقة (mAP) في مهمة استرجاع الصور من النصوص، وتُسجّل تحسينات نسبية قدرها 5.58% في دقة الترتيب (Rank-1) و6.3% في متوسط الدقة (mAP) في مهمة استرجاع النصوص من الصور على مجموعة بيانات CUHK-PEDES.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
شبكة انتباه جومبل الهرمية للبحث عن الأشخاص بناءً على النص | مستندات | HyperAI