HyperAIHyperAI

Command Palette

Search for a command to run...

شبكة الذاكرة مع الانتباه التدريجي لأسئلة وإجابات قصة الفيلم

Junyeong Kim* Minuk Ma Kyungsu Kim Sungjin Kim Chang D. Yoo

الملخص

يقترح هذا البحث شبكة الذاكرة التدريجية بالانتباه (PAMN) للإجابة على أسئلة القصص السينمائية (QA). تعتبر الإجابة على أسئلة القصص السينمائية أكثر تحديًا مقارنة بـ VQA في جوانب عديدة: (1) من الصعب تحديد الأجزاء الزمنية ذات الصلة بالإجابة على السؤال نظرًا لكون الأفلام غالبًا ما تتجاوز الساعة، (2) تحتوي على كلاً من الفيديو والترجمة الفرعية حيث تتطلب الأسئلة المختلفة استخدام وسائط مختلفة لاستنتاج الإجابة. لتجاوز هذه التحديات، تتضمن شبكة PAMN ثلاث خصائص رئيسية: (1) آلية الانتباه التدريجي التي تستفيد من إشارات كل من السؤال والإجابة لتقليل الأجزاء الزمنية غير ذات الصلة في الذاكرة بشكل تدريجي، (2) دمج الوسائط الديناميكي الذي يحدد بشكل مرن مساهمة كل وسيلة في الإجابة على السؤال الحالي، و(3) نظام الإجابة المصحح للثقة الذي يقوم بتصحيح درجة التوقع لكل إجابة مرشحة بشكل متتابع. أظهرت التجارب التي أجريت على مجموعات البيانات المرجعية المتاحة للجمهور، MovieQA وTVQA، أن كل خاصية تسهم في هندسة إجابتنا عن أسئلة القصص السينمائية، PAMN، مما يحسن الأداء لتحقيق أفضل النتائج الحالية. كما تم تقديم تحليل نوعي عبر تصوير آليات الاستنتاج الخاصة بشبكة PAMN.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp