كمية عدم اليقين الألياتوري القائمة على النماذج الأولية للبحث عبر الوسائط المتعددة

طرق الاسترجاع عبر الأصناف تبني علاقات التشابه بين أصناف الرؤية واللغة من خلال تعلم مساحة تمثيل مشتركة بشكل مشترك. ومع ذلك، غالبًا ما تكون التنبؤات غير موثوقة بسبب عدم اليقين العشوائي (Aleatoric uncertainty)، والذي ينتج عن البيانات ذات الجودة المنخفضة، مثل الصور الفاسدة، الفيديوهات السريعة الوتيرة، والنصوص غير المفصلة. في هذا البحث، نقترح إطارًا جديدًا لتقدير عدم اليقين العشوائي القائم على النماذج الأولية (PAU) لتوفير تنبؤات موثوقة من خلال تقدير عدم اليقين الناشئ عن الغموض الذاتي للبيانات. بوضوح، نقوم أولاً ببناء مجموعة متنوعة من النماذج الأولية القابلة للتعلم لكل صنف لتمثيل المساحة الدلالية الكاملة. ثم يتم استخدام نظرية دمسستر-شافر (Dempster-Shafer Theory) ونظرية المنطق الذاتي (Subjective Logic Theory) لإنشاء إطار نظري قائم على الأدلة من خلال ربط الأدلة مع معلمات التوزيع الديريشلي (Dirichlet Distribution). يُحفز نموذج PAU تقدير عدم اليقين بدقة وتنبؤات موثوقة للاسترجاع عبر الأصناف. تم إجراء تجارب واسعة على أربع مجموعات بيانات رئيسية هي MSR-VTT، MSVD، DiDeMo، وMS-COCO، مما يثبت فعالية طرقنا. يمكن الوصول إلى الكود في https://github.com/leolee99/PAU.