تقييم التحليل الدلالي مقابل نموذج بسيط للإجابة على الأسئلة عبر الويب

التحليل الدلالي يبرع في تحليل اللغة الطبيعية المعقدة التي تتضمن تركيبًا وحسابًا على عدة قطع من الأدلة. ومع ذلك، فإن مجموعات البيانات المستخدمة في التحليل الدلالي تحتوي على العديد من الأسئلة الواقعية التي يمكن الإجابة عليها من خلال وثيقة واحدة على الويب. في هذا البحث، نقترح تقييم نماذج الإجابة على الأسئلة القائمة على التحليل الدلالي من خلال مقارنتها بأساس مرجعي للإجابة على الأسئلة يقوم بالبحث على الويب واستخراج الإجابة فقط من مقاطع الويب، دون الوصول إلى قاعدة المعرفة المستهدفة. نقوم بدراسة هذه الطريقة على مجموعة بيانات COMPLEXQUESTIONS، وهي مجموعة بيانات مصممة لتركيزها على اللغة التركيبية، ونجد أن نموذجنا يحقق أداءً معقولًا (35 F1 مقابل 41 F1 لأفضل النماذج الحالية). وفي تحليلنا، نجد أن نموذجنا يتألق في الإجابة على الأسئلة المعقدة التي تتضمن عُقَدَ (conjunctions)، ولكنه يواجه صعوبات في الإجابة على الأسئلة التي تتضمن تركيب العلاقات والصفات الفائقة (superlatives).