على تضمين الجمل من نماذج اللغة المُدرّبة مسبقًا

لقد حققت التمثيلات السياقية المُدرَّبة مسبقًا مثل BERT نجاحًا كبيرًا في معالجة اللغة الطبيعية. ومع ذلك، تم اكتشاف أن تمثيلات الجمل من نماذج اللغة المُدرَّبة مسبقًا دون تحسين مُخصص لا تُمثِّل بفعالية المعنى المعاني للجمل. في هذا البحث، نُقدِّم حجة بأن المعلومات المعانيَّة المُحتَواة في تمثيلات BERT لا تُستَخدَم بالكامل. نُبيِّن أولًا الصلة النظرية بين هدف التدريب المسبق بنموذج اللغة المُسَمَّى (masked language model) والمهمة المتعلقة بالتشابه المعاني، ثم نُحلِّل تمثيلات الجمل في BERT تجريبيًا. ونجد أن BERT يُولِّد دائمًا فضاءً معاني غير ناعم وغير متماثل (anisotropic) للجمل، مما يُضعف أداؤه في مهام التشابه المعاني. لمعالجة هذه المشكلة، نقترح تحويل توزيع تمثيلات الجمل غير المتماثلة إلى توزيع طبيعي ناعم ومتماثل (Gaussian) من خلال تدفقات التطبيع (normalizing flows) التي تُدرَّب باستخدام هدف غير مُراقب. أظهرت النتائج التجريبية أن طريقة BERT-flow التي نقترحها تحقق تحسينات كبيرة في الأداء مقارنة بأفضل الطرق الحالية لتمثيل الجمل في مهام متعددة لتشابه النصوص المعاني. يمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/bohanli/BERT-flow.