BERT لتصنيف النوايا المشتركة وملء الفتحات

تصنيف النوايا وملء الفتحات هي مهمتان أساسيتان لفهم اللغة الطبيعية. غالباً ما تعاني هذه المهام من قلة البيانات التدريبية المصنفة بيد الإنسان، مما يؤدي إلى قدرة تعميم ضعيفة، خاصة بالنسبة للكلمات النادرة. مؤخراً، تم تقديم نموذج جديد لتمثيل اللغة يُعرف باسم BERT (التمثيلات الثنائية الاتجاه من المحولات)، والذي يساعد في تدريب تمثيلات ثنائية الاتجاه عميقة على مجموعات بيانات كبيرة غير مصنفة. وقد أدى هذا النموذج إلى إنشاء نماذج رائدة في فئتها لعدد كبير من مهام معالجة اللغة الطبيعية بعد التحسين البسيط. ومع ذلك، لم يتم بذل جهد كبير لاستكشاف استخدام BERT في فهم اللغة الطبيعية. في هذا العمل، نقترح نموذجاً مشتركاً لتصنيف النوايا وملء الفتحات يستند إلى BERT. تظهر النتائج التجريبية أن النموذج المقترح حقق تحسيناً كبيراً في دقة تصنيف النوايا ومعدل F1 لملء الفتحات ودقة الإطار الدلالي على مستوى الجملة في عدة مجموعات بيانات معيارية عامة، بالمقارنة مع نماذج الشبكات العصبية المتكررة المستندة إلى الانتباه ونماذج الفتحات ذات البوابة (slot-gated models).