استقصاء النماذج اللغوية العصبية لفهم كلمات الاحتمال التقديرية

تُعدّ عبارات الاحتمال التقديرية (WEP) تعبيرات عن احتمالية صحة بيان ما (مثل: من المرجح، ربما، على الأرجح، شكوك، من المحتمل، غير مرجح، مستحيل...). تُظهر دراسات استقصائية متعددة توافقًا بين المُقيّمين البشريين عند تعيين مستويات احتمالية رقمية لعبارات WEP. على سبيل المثال، يتوافق مصطلح "مرجح جدًا" مع احتمال وسيط قدره 0.90 ± 0.08 وفقًا لاستبيان فاجين-أولمسشنايدر (2015). في هذا العمل، نقيّم قدرة نماذج معالجة اللغة العصبية على اكتشاف المستوى الموحّد للاحتمال المرتبط بكل تعبير WEP. أولاً، نستخدم مجموعة البيانات UNLI (تشن وآخرون، 2020)، التي تربط بين المقدمات والفرضيات باحتمالها المشترك المُدرك p، لبناء أسئلة توجيهية، مثل: "المنطوق [PREMISE]. [WEP]، [HYPOTHESIS]." ثم نقيّم ما إذا كانت نماذج اللغة قادرة على التنبؤ بقرب مستوى الاحتمال الموحّد لعبارة WEP من القيمة p. ثانيًا، نُنشئ مجموعة بيانات لاستنتاجات احتمالية تعتمد على WEP، لاختبار قدرة نماذج اللغة على التفكير باستخدام تركيبات عبارات WEP. عند توجيه السؤال: "الحدث A من المرجح. الحدث B مستحيل."، يجب على النموذج اللغوي السببي ألا يُعبّر عن أن الحدث A وB معًا من المرجح. نُظهر أن كلا المهمتين ما زالا غير محلولتين باستخدام نماذج اللغة الإنجليزية الجاهزة، ولكن التخصيص الدقيق (fine-tuning) يؤدي إلى تحسين قابل للانتقال.