الاستدلال النصي المتأصل

التقاط العلاقات الدلالية بين الجمل، مثل العلاقة الاستدلالية (الاستنبات)، هو تحدي قائم منذ فترة طويلة في مجال الدلالة الحاسوبية. تحلل النماذج المنطقية العلاقة الاستدلالية من حيث العوالم الممكنة (التفسيرات أو الحالات)، حيث تُستدل الفرضية H من المقدمة P إذا وفقط إذا كانت H صحيحة في جميع العوالم التي تكون فيها P صحيحة. أما النماذج الإحصائية فتتعامل مع هذه العلاقة على أساس احتمالي، بمعالجة ما إذا كان الإنسان سيستنتج H من P على الأرجح. في هذا البحث، نرغب في ربط هذين المنظورين، من خلال حجتنا لنسخة مبنية على الأساس البصري لمهمة الاستنبات النصي. وبشكل خاص، نسأل عما إذا كان يمكن للنماذج أن تؤدي بشكل أفضل إذا كانت هناك صورة إضافية (مرتبطة بالعَالم أو الحالة ذات الصلة) إلى جانب P وH. نستخدم نسخة متعددة الوسائط من مجموعة بيانات SNLI (Bowman et al., 2015) ونقارن بين النماذج "العمياء" والنماذج المعززة بصرياً للاستنبات النصي. نظهر أن المعلومات البصرية مفيدة، ولكننا أيضاً نقوم بتحليل خطأ عميق يكشف أن النماذج المتعددة الوسائط الحالية لا تقوم بالـ "ترسيخ" (grounding) بطريقة مثلى.