تكيف النماذج المتعددة اللغات المُحَوَّلة ثنائية الاتجاه العميقة للغة الروسية

يقدم هذا البحث طرق تكيف نماذج اللغة المتعددة اللغات المقنعة لغة معينة. تظهر النماذج اللغوية ثنائية الاتجاه التي تم تدريبها مسبقًا أداءً رائدًا في مجموعة واسعة من المهام، بما في ذلك فهم القراءة، والاستدلال اللغوي، وتحليل المشاعر. وفي الوقت الحالي، هناك طريقتان بديلتان لتدريب مثل هذه النماذج: الأحادية اللغة والمتعددة اللغات. بينما تظهر النماذج الخاصة باللغة أداءً أفضل، فإن النماذج المتعددة اللغات تسمح بنقل المعرفة من لغة إلى أخرى وحل المهام المتعلقة بعدة لغات في وقت واحد. يوضح هذا العمل أن التعلم المنقول من نموذج متعدد اللغات إلى نموذج أحادي اللغة يؤدي إلى زيادة كبيرة في الأداء على مهام مثل فهم القراءة، وكشف الاستبدال (paraphrase detection)، وتحليل المشاعر. علاوة على ذلك، فإن تهيئة النموذج الأحادي اللغة باستخدام نموذج متعدد اللغات يقلل بشكل كبير من وقت التدريب. تم توفير النماذج التي تم تدريبها مسبقًا للغة الروسية كمصدر مفتوح.