النص لم يعد كافيًا! معيار لتقييم الفهم اللغوي الشفهي القائم على الملفات الشخصية

تُعاني الأبحاث الحالية في فهم اللغة الشفهية (SLU) من قيود كبيرة تقتصر على بيئة بسيطة جدًا: وهي فهم اللغة الشفهية القائم على النص العادي، التي تأخذ التعبير الصوتي للمستخدم كمدخل وتُنتج الإطارات المعنوية المقابلة له (مثل القصد والمساحات الفارغة). لسوء الحظ، قد تفشل هذه البيئة البسيطة في العمل في السياقات الواقعية المعقدة عندما يكون التعبير صوتيًا غامضًا من الناحية المعنوية، وهو ما لا يمكن تحقيقه عبر نماذج فهم اللغة الشفهية القائمة على النص. في هذه الورقة، نقدم أولًا مهمة جديدة ومحورية، تُسمى فهم اللغة الشفهية القائم على الملف الشخصي (ProSLU)، والتي تتطلب من النموذج أن يعتمد ليس فقط على النص العادي، بل أيضًا على معلومات الدعم المرتبطة بالملف الشخصي للتنبؤ بالمقصود الصحيح والمساحات الفارغة. ولتحقيق ذلك، نقدم أيضًا مجموعة بيانات كبيرة مُANNOTATED يدويًا باللغة الصينية، تضم أكثر من 5000 تعبير صوتي ومعلومات الدعم المرتبطة بها (مثل رسم المعرفة (KG)، والملف الشخصي للمستخدم (UP)، والوعي بالسياق (CA)). بالإضافة إلى ذلك، نقوم بتقييم عدة نماذج أساسية حديثة جدًا، ونستكشف مُعامل معرفة متعدد المستويات لدمج المعلومات الداعمة بشكل فعّال. تُظهر النتائج التجريبية أن جميع النماذج الحالية القائمة على النص تفشل في العمل عند مواجهة تعبيرات صوتية غامضة من الناحية المعنوية، بينما يمكن للإطار المُقترح دمج المعلومات الداعمة بشكل فعّال في الكشف عن القصد على مستوى الجملة وتعبئة المساحات الفارغة على مستوى الرموز. وأخيرًا، نلخّص التحديات الرئيسية ونقدّم مسارات جديدة للاتجاهات المستقبلية، آملين أن تسهم في دفع عجلة البحث في هذا المجال.