مُشغّل الجملة العالمي
نقدم نماذج لترميز الجمل إلى متجهات تمثيلية تستهدف التعلم النقل إلى مهام معالجة اللغة الطبيعية الأخرى. تتميز هذه النماذج بالكفاءة وتحقق أداءً دقيقًا في مجموعة متنوعة من المهام المنقولة. يتيح نوعان مختلفان من نماذج الترميز إمكانية التوفيق بين الدقة واستخدام الموارد الحاسوبية. بالنسبة لكلا النوعين، نقوم بدراسة وتقرير العلاقة بين تعقيد النموذج، استهلاك الموارد، توفر بيانات التدريب للمهام المنقولة، وأداء المهمة. يتم إجراء مقارنات مع خطوط الأساس التي تستخدم التعلم النقل على مستوى الكلمات عبر تضمينات الكلمات المدربة مسبقًا وكذلك خطوط الأساس التي لا تستخدم أي نوع من التعلم النقل. نجد أن التعلم النقل باستخدام تضمينات الجمل يميل إلى الأداء بشكل أفضل من التعلم النقل على مستوى الكلمات. عند استخدام التعلم النقل عبر تضمينات الجمل، نلاحظ أداءً جيدًا بشكل مفاجئ مع كميات قليلة جدًا من بيانات التدريب الإشرافية لمهمة المنقول. نحصل على نتائج مشجعة في اختبارات ارتباط تضمينات الكلمات (WEAT) المستهدفة للكشف عن انحياز النموذج. يتم توفير نماذجنا المدربة مسبقًا لترميز الجمل بشكل مجاني للتنزيل وعلى TF Hub (TensorFlow Hub).