HyperAIHyperAI

Command Palette

Search for a command to run...

استنتاج رسم بياني مُراعٍ للسياق بشكل تكراري للحوار البصري

Dan Guo Hui Wang Hanwang Zhang Zheng-Jun Zha Meng Wang

الملخص

المحادثة البصرية تمثل مهمة صعبة تتطلب فهم الاعتماديات الدلالية بين السياقات البصرية والنصية الضمنية. يمكن أن تشير هذه المهمة إلى استنتاج العلاقات في نموذج رسومي يحتوي على سياقات نادرة وهيكل رسم غير معروف (مُعدّل العلاقة)، ونموذج الاستنتاج الخفي للعلاقة المتأثرة بالسياق يُعد أمرًا بالغ الأهمية. ولتحقيق ذلك، نقترح شبكة عصبية جديدة تُسمى "الرسم البياني المُراعي للسياق" (CAG). يتوافق كل عقدة في الرسم البياني مع ميزة دلالية مشتركة، تشمل تمثيلات سياقية قائمة على الكائنات (بصرية) وتمثيلات سياقية مرتبطة بالتاريخ (نصية). يتم تحديث هيكل الرسم البياني (العلاقات في الحوار) بشكل تكراري باستخدام آلية تمرير رسائل مُعدّلة حسب الطلب (top-KKK). وبشكل خاص، في كل خطوة لتمرير الرسائل، تختار كل عقدة أقرب KKK عقدة ذات صلة، وتستقبل الرسائل فقط من هذه العقد. ثم، بعد التحديث، نطبق انتباه الرسم البياني على جميع العقد للحصول على التضمين النهائي للرسم البياني واستنتاج الإجابة. في CAG، تمتلك كل عقدة علاقات ديناميكية داخل الرسم البياني (عقد جوار مختلفة ذات صلة بـ KKK)، ويُؤخذ بعين الاعتبار فقط العقد ذات العلاقة الأهم في عملية استنتاج العلاقة المتأثرة بالسياق. أظهرت النتائج التجريبية على مجموعتي بيانات VisDial v0.9 وv1.0 أن CAG تتفوّق على الطرق المقارنة. كما تؤكد نتائج التصور على قابلية تفسير طريقة العمل لدينا.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp