كشف التحديد القابل للتفاضل للقيم الشاذة يمكّن التحليل العميق متعدد الوسائط من المرونة

غالبًا ما تكون نماذج الشبكات العميقة نقديّة تمامًا أثناء التدريب وأثناء إجراء الاستنتاج على بيانات غير مرئية. وبالتالي، عند استخدام هذه النماذج للتنبؤ، يُعرف جيدًا أنها غالبًا ما تفشل في التقاط المعلومات الدلالية والاعتماديات الضمنية الموجودة بين الكيانات (أو المفاهيم) على المستوى السكاني. علاوةً على ذلك، لا يزال غير واضح كيفية تحديد المعرفة المجالية أو المعرفة السابقة بطريقة تتوافق مع التغذية العكسية (backpropagation)، خاصة في البيئات الكبيرة والضوضائية. في هذا العمل، نقترح نموذجًا متكاملًا من الرؤية واللغة يدمج مخططات المعرفة الصريحة. كما نقدم طبقة تفاعلية خارج التوزيع (OOD) تستخدم مؤثرًا شبكيًا ضمنيًا، وتُستخدم لتصفية الضوضاء التي تُدخلها قاعدة المعرفة الخارجية. في الممارسة العملية، طبّقنا نموذجنا على عدة مهام تطبيقية في مجال الرؤية واللغة، بما في ذلك الإجابة على الأسئلة البصرية، والاستدلال البصري، واسترجاع الصور والنصوص على مجموعات بيانات مختلفة. تُظهر تجاربنا أن من الممكن تصميم نماذج تُحقق أداءً مشابهًا للنتائج المتطورة حاليًا ولكن بكمية عينات وأوقات تدريب أقل بشكل كبير.