طريقة تكيفية فعالة ما بعد التدريب لـ BERT في اختيار الردود

نركز على اختيار الاستجابة متعددة الدورات في نظام حواري قائم على الاسترجاع. في هذا البحث، نستخدم النموذج اللغوي المُدرب مسبقًا "تمثيلات المُشفر ثنائية الاتجاه من التحويلات" (Bi-directional Encoder Representations from Transformers - BERT) لنظام الحوار متعدد الدورات ونقترح طريقة تدريب ما بعد الأولية فعالة للغاية على مجموعات بيانات خاصة بالمنطقة. رغم أن BERT يمكن تبنيه بسهولة في مجموعة متنوعة من مهام معالجة اللغة الطبيعية (NLP) ويتفوق على الخطوط الأساسية السابقة لكل مهمة، إلا أنه لا يزال يواجه تحديات إذا كانت مجموعة البيانات الخاصة بالمهمة مركزًا جدًا حول مجال معين. يساعد التدريب ما بعد الأولي على مجموعات البيانات الخاصة بالمنطقة (مثل Corpus Ubuntu) النموذج على تعلم تمثيلات سياقية وكلمات لا تظهر في المجموعات العامة للبيانات (مثل ويكيبيديا الإنجليزية). أظهرت نتائج التجارب أن نهجنا حقق أفضل مستوى جديد في أداء اختيار الاستجابة على مقعدين للمعايير (أي Corpus Ubuntu V1، Corpus Advising) بتحسن بنسبة 5.9٪ و6٪ في R@1.