شبكة تفاضلية متعددة الأوضاع لتكوين الأسئلة البصرية

إنشاء أسئلة طبيعية من صورة هو مهمة دلالية تتطلب استخدام الوسائط البصرية واللغوية لتعلم التمثيلات متعددة الوسائط. يمكن للصور أن تحتوي على سياقات بصرية ولغوية متعددة ذات صلة بإنشاء الأسئلة، مثل الأماكن، والشروحات، والعلامات. في هذا البحث، نقترح استخدام النماذج الأولية للحصول على السياق ذي الصلة. نحصل على ذلك من خلال استخدام شبكة تفاضلية متعددة الوسائط لإنتاج أسئلة طبيعية وجاذبة. أظهرت الأسئلة المولدة تشابهاً ملحوظاً مع الأسئلة الطبيعية كما تم التحقق منه من خلال دراسة بشرية. علاوة على ذلك، لاحظنا أن النهج المقترح يحسن بشكل كبير على مقاييس المعايير الكمية (BLEU، METEOR، ROUGE، وCIDEr) مقارنة بأحدث الأساليب المتقدمة.