Command Palette
Search for a command to run...
النمذجة شبه المراقبة للسلسلة باستخدام التدريب عبر وجهات النظر المتعددة
النمذجة شبه المراقبة للسلسلة باستخدام التدريب عبر وجهات النظر المتعددة
Kevin Clark¹ Minh-Thang Luong² Christopher D. Manning¹ Quoc V. Le²
الملخص
خوارزميات التعلم التمثيلي غير المشرف عليها مثل word2vec و ELMo تحسّن دقة العديد من نماذج المعالجة اللغوية الطبيعية المشرف عليها، وذلك بشكل رئيسي لأنها تستطيع الاستفادة من كميات كبيرة من النصوص غير المصنفة. ومع ذلك، فإن النماذج المشرفة تتعلم فقط من البيانات المصنفة الخاصة بالمهمة خلال المرحلة الرئيسية للتدريب. لذلك، نقترح التدريب عبر الأنظمة المرئية (Cross-View Training - CVT)، وهو خوارزمية تعلم شبه مشرف يحسن تمثيلات مُشفر الجمل Bi-LSTM باستخدام مزيج من البيانات المصنفة وغير المصنفة. في الأمثلة المصنفة، يتم استخدام التعلم المشرف عليها بشكل قياسي. أما في الأمثلة غير المصنفة، فيقوم CVT بتعليم وحدات التنبؤ المساعدة التي ترى آراءً مقيدة من الإدخال (مثل جزء فقط من الجملة) لتتوافق مع تنبؤات النموذج الكامل الذي يرى الإدخال بأكمله. بما أن الوحدات المساعدة والنموذج الكامل يشاركان في التمثيلات الوسطية، فهذا بدوره يحسن النموذج الكامل. علاوة على ذلك، نوضح أن CVT يكون فعّالاً بشكل خاص عند الجمع بينه وبين التعلم متعدد المهام. نقيم CVT على خمس مهام لتصنيف المتتاليات، والترجمة الآلية، وتحليل الاعتماد، مما حقق أفضل النتائج الحالية.