HyperAIHyperAI

Command Palette

Search for a command to run...

تعلم رسم بياني للسياق متعدد الوسائط للتحديد البصري

Yongfei Liu; Bo Wan; Xiaodan Zhu; Xuming He

الملخص

الربط البصري يُعدّ عنصراً أساسياً شائعاً في العديد من المهام التي تجمع بين الرؤية واللغة، ومع ذلك يظل تحدياً كبيراً نظراً للتغيرات الكبيرة في السمات البصرية واللغوية للكيانات المرتبطة، والتأثير القوي للسياق، والغموض الدلالي الناتج عنه. في الدراسات السابقة، ركزت غالباً على تعلم تمثيلات العبارات الفردية مع معلومات سياقية محدودة. وللتغلب على هذه القيود، تقدم هذه الورقة تمثيلاً رسمياً موجهاً باللغة لالتقاط السياق العام للكيانات المرتبطة والعلاقات بينها، وتطوير استراتيجية مطابقة رسمية عبر الوسائط لل任務 الخاصة بالربط البصري متعدد العبارات. وبشكل خاص، نُقدّم شبكة عصبونية رسومية معيارية لحساب تمثيلات واعية بالسياق للعبارات والمقترحات الكائنية على حدة من خلال تبادل الرسائل، يليها وحدة مطابقة قائمة على الرسوم البيانية لإنتاج تحديد مكاني متماسك على المستوى العام للعبارات المرتبطة. ونُدرّب الشبكة العصبية الرسومية بأكملها بشكل موحد باستخدام استراتيجية مكونة من مرحلتين، ونُقيّم الأداء على معيار Flickr30K Entities. وتُظهر التجارب الواسعة أن طريقتنا تتفوّق على أحدث النماذج السابقة بفارق ملحوظ، مما يُثبت فعالية إطارنا للربط البصري. يمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/youngfly11/LCMCG-PyTorch.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp