Hongda Jiang Xinyuan Zhang Siddhant Garg Rishab Arora Shiun-Zu Kuo et al

الملخص

نُقدّم "ميموري-كي-أيه" (Memory-QA)، وهي مهمة جديدة في العالم الحقيقي تتمثل في الإجابة على أسئلة التذكّر المتعلقة بمحتوى بصري مستمدّ من ذاكرة متعددة الوسائط مُخزّنة سابقًا. تطرح هذه المهمة تحديات فريدة، تشمل إنشاء ذاكرات مُصمّمة خصيصًا للمهمة، والاستفادة الفعّالة من المعلومات الزمنية والموقعية الواردة داخل الذاكرة، بالإضافة إلى القدرة على الاستناد إلى عدة ذاكرات للإجابة على سؤال تذكّر. وللتغلب على هذه التحديات، نقترح نموذجًا متكاملًا يُسمّى "بينسييف" (Pensieve)، يدمج بين تعزيز ذاكرات مُخصّصة، واسترجاع متعدّد الإشارات واعٍ للزمن والموقع، وتحسين دقيق للإجابة على الأسئلة باستخدام ذاكرات متعددة. وقد أنشأنا معيارًا متعدد الوسائط لتصوير مختلف التحديات الواقعية في هذه المهمة، ونُظهر من خلاله الأداء المتفوّق لنموذج "بينسييف" مقارنةً بالحلول المتطورة حديثًا (بما يصل إلى 14% في دقة الإجابة على الأسئلة).