HyperAIHyperAI

Command Palette

Search for a command to run...

انظر بشكل أدق، اكتشف المزيد: التوافق الضمني للطبيعة للبحث عن الشخص بناءً على النص

Xiujun Shu Wei Wen Haoqian Wu Keyu Chen Yiran Song Ruizhi Qiao Bo Ren Xiao Wang

الملخص

استرجاع الشخص القائم على النص يهدف إلى العثور على الشخص المطلوب بناءً على وصف نصي. المفتاح هو تعلم مساحة خفية مشتركة بين الوسائط البصرية والنصية. لتحقيق هذا الهدف، تعتمد الأعمال الحالية تقسيم الأجزاء للحصول على توافق عرضي صريح أو استخدام الانتباه لاستكشاف التوافق البارز. هذه الأساليب لها عيبان رئيسيان: 1) وضع العلامات على التوافقات العرضية يستغرق وقتًا طويلاً. 2) يمكن للأساليب القائمة على الانتباه استكشاف التوافقات العرضية البارزة ولكنها قد تتجاهل بعض الأزواج الدقيقة والقيمة.للتخفيف من هذه المشكلات، نقدم إطارًا عملًا ضمنيًا بصري-نصي (IVT) لاسترجاع الشخص القائم على النص. يختلف الإطار IVT عن النماذج السابقة في أنه يستخدم شبكة واحدة لتعلم تمثيل كلا الوسائط، مما يساهم في التفاعل البصري-النصي. لاكتشاف التوافق الدقيق، نقترح أيضًا نموذجين ضمنيين للتوافق الدلالي: التوافق متعدد المستويات (MLA) ونمذجة القناع ثنائية الاتجاه (BMM). يعمل وحدة MLA على تحقيق مطابقة أكثر دقة على مستوى الجمل والعبارات والكلمات، بينما تهدف وحدة BMM إلى استخراج المزيد من التوافقات الدلالية بين الوسائط البصرية والنصية.أجريت تجارب واسعة لتقييم الإطار المقترح IVT على مجموعات بيانات عامة مثل CUHK-PEDES و RSTPReID و ICFG-PEDES. حتى بدون مطابقة صريحة للأجزاء الجسمانية، لا يزال أسلوبنا يحقق أداءً رائدًا في مجاله. يمكن الوصول إلى الكود عبر الرابط:https://github.com/TencentYoutuResearch/PersonRetrieval-IVT.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
انظر بشكل أدق، اكتشف المزيد: التوافق الضمني للطبيعة للبحث عن الشخص بناءً على النص | مستندات | HyperAI