مؤشرات واسطة لجودة المحادثات في المجال المفتوح

يظل تقييم المحادثات في المجال المفتوح تحدٍّ كبيرًا لا يزال غير محلول بالكامل. وعلى الرغم من الكم الهائل من الأبحاث التي تم إنجازها في هذا المجال، لا يزال يتطلب تقييم جودة المحادثات من قبل مُقيّمين بشريين. وبسبب ذلك، يصبح إجراء مثل هذه التقييمات على نطاق واسع غالبًا أمرًا مكلفًا. تبحث هذه الدراسة في استخدام نموذج تعليم عميق تم تدريبه على معيار تقييم الفهم العام للغة (GLUE) كمؤشر على جودة المحادثات في المجال المفتوح. والهدف هو استخدام مختلف مهام GLUE كزوايا مختلفة لتقييم جودة الحوار، مما يقلل الحاجة إلى بيانات تدريب إضافية أو استجابات مرجعية تُستخدم كمقياس للجودة. وبسبب هذه الطبيعة، يمكن للطريقة استنتاج مجموعة متنوعة من مقاييس الجودة واستخلاص درجة إجمالية قائمة على المكونات. وقد تم تحقيق معاملات ارتباط ذات دلالة إحصائية تصل إلى 0.7.