هل يُشكّل بيرت معنى ما؟ تفسير معنى الكلمة القابل للفهم باستخدام تضمينات سياقية

تمثيلات كلمات مُحتَوَاة (CWE)، مثل تلك التي تقدمها نماذج ELMo (Peters et al., 2018)، Flair NLP (Akbik et al., 2018)، أو BERT (Devlin et al., 2019)، تمثل ابتكارًا رئيسيًا حديثًا في معالجة اللغة الطبيعية (NLP). توفر تمثيلات CWE تمثيلات متجهة معنوية للكلمات وفقًا للسياق الذي تظهر فيه. وقد أُثبتت مزاياها مقارنة بتمثيلات الكلمات الثابتة في عدد من المهام، مثل تصنيف النصوص، ووضع العلامات على التسلسلات، أو الترجمة الآلية. وبما أن المتجهات الخاصة بنوع الكلمة نفسها قد تختلف حسب السياق، فإن هذه التمثيلات توفر بشكل ضمني نموذجًا لحل غموض المعنى (WSD). نقدم منهجًا بسيطًا ولكن فعّالًا لحل غموض المعنى باستخدام التصنيف القائم على أقرب الجيران على تمثيلات CWE. ونقارن أداء النماذج المختلفة من CWE في هذه المهمة، ونُبلغ عن تحسينات تفوق الحد الأقصى الحالي للأداء على نوعين من مجموعات البيانات القياسية لاختبار حل غموض المعنى. كما نُظهر أن النموذج المُدرّب مسبقًا BERT قادر على وضع الكلمات المتعددة المعاني في مناطق مميزة داخل فضاء التمثيل، في حين لا يبدو أن نماذج ELMo وFlair NLP تمتلكان هذه القدرة.