النمذجة شبه المراقبة للسلسلة باستخدام التدريب عبر وجهات النظر المتعددة

خوارزميات التعلم التمثيلي غير المشرف عليها مثل word2vec و ELMo تحسّن دقة العديد من نماذج المعالجة اللغوية الطبيعية المشرف عليها، وذلك بشكل رئيسي لأنها تستطيع الاستفادة من كميات كبيرة من النصوص غير المصنفة. ومع ذلك، فإن النماذج المشرفة تتعلم فقط من البيانات المصنفة الخاصة بالمهمة خلال المرحلة الرئيسية للتدريب. لذلك، نقترح التدريب عبر الأنظمة المرئية (Cross-View Training - CVT)، وهو خوارزمية تعلم شبه مشرف يحسن تمثيلات مُشفر الجمل Bi-LSTM باستخدام مزيج من البيانات المصنفة وغير المصنفة. في الأمثلة المصنفة، يتم استخدام التعلم المشرف عليها بشكل قياسي. أما في الأمثلة غير المصنفة، فيقوم CVT بتعليم وحدات التنبؤ المساعدة التي ترى آراءً مقيدة من الإدخال (مثل جزء فقط من الجملة) لتتوافق مع تنبؤات النموذج الكامل الذي يرى الإدخال بأكمله. بما أن الوحدات المساعدة والنموذج الكامل يشاركان في التمثيلات الوسطية، فهذا بدوره يحسن النموذج الكامل. علاوة على ذلك، نوضح أن CVT يكون فعّالاً بشكل خاص عند الجمع بينه وبين التعلم متعدد المهام. نقيم CVT على خمس مهام لتصنيف المتتاليات، والترجمة الآلية، وتحليل الاعتماد، مما حقق أفضل النتائج الحالية.