HyperAIHyperAI

Command Palette

Search for a command to run...

مُشَفِّر مُتَعَلِّق بِالرُّسُومِ التَّصْوِيرِيَّةِ الْهِيِّرَارْكِيَّةِ لِتَوْصِيفِ الْفُقَرَةِ الصُّورِيَّةِ

and Jianfei Cai Hanwang Zhang Chongyang Gao Xu Yang

الملخص

عندما نُخبر بفقرة طويلة عن صورة، نميل عادةً إلى تكوين "سيناريو ذهني" ضمني أولاً، ثم نلتزم به لإنشاء الفقرة. مستوحى من هذا المفهوم، نُزوّد نموذج التصريح بالفقرات الصورية القائم على المُشفّر-المُفكّك الحديث بقدرة مماثلة من خلال اقتراح نموذج التشفير-التفكيك الرئيسي للرسم البياني المكاني الهرمي (HSGED) لإنشاء فقرات متماسكة ومميزة. وبشكل خاص، نستخدم الرسم البياني المكاني للصورة كـ"سيناريو" لدمج معرفة دلالية غنية، وأهم من ذلك، القيود الهرمية داخل النموذج. وبالتحديد، نصمم شبكة عصبية متكررة للرسم البياني الجملة (SSG-RNN) لإنشاء مواضيع على مستوى المخططات الفرعية، والتي تُحدّد وتُوجّه شبكة عصبية متكررة للرسم البياني الكلمات (WSG-RNN) لإنشاء الجمل المقابلة. ونُقدّم انتباهًا غير متكررًا في SSG-RNN لزيادة احتمالية استخلاص المواضيع من المخططات الفرعية النادرة الوصف، ونُطبّق انتباهًا موروثًا في WSG-RNN لتمكين إنشاء جمل أكثر تأصيلًا باستخدام المواضيع المستخلصة، مما يؤدي إلى فقرات أكثر تميّزًا. كما نُقدّم أيضًا خسارة فعّالة على مستوى الجملة لتحفيز التسلسل الناتج من الجمل على أن يكون مشابهًا لتسلسل الفقرات الحقيقية (ground-truth). وقد تم التحقق من أداء HSGED على مجموعة بيانات الصور والفقرات من ستانفورد، وتبين أنه لا يحقق فقط أفضل أداء مُسجّل حتى الآن بـ 36.02 نقطة CIDEr-D، بل يُنتج أيضًا فقرات أكثر تماسكًا وميزة وفقًا لمجموعة متنوعة من المقاييس.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
مُشَفِّر مُتَعَلِّق بِالرُّسُومِ التَّصْوِيرِيَّةِ الْهِيِّرَارْكِيَّةِ لِتَوْصِيفِ الْفُقَرَةِ الصُّورِيَّةِ | مستندات | HyperAI