على الرغم من وجود كمية كبيرة من الأبحاث التي تدرس أساليب التعلم العميق لإنشاء النصوص من البيانات المنظمة، فإن معظمها يركز حصريًا على اللغة الإنجليزية. في هذه الورقة، نستعرض فعالية التدريب المسبق القائم على الترجمة الآلية لمهام إنشاء النصوص من البيانات في اللغات غير الإنجليزية. وبما أن البيانات المنظمة تُعبَّر عنها عادةً باللغة الإنجليزية، فإن إنشاء النصوص بلغات أخرى يتضمن عناصر الترجمة، والنقل الصوتي (التحوّل الصوتي)، والنسخ – عناصر مُشَكَّلة مسبقًا في أنظمة الترجمة الآلية العصبية. علاوةً على ذلك، وبما أن مجموعات البيانات المُنشأة للنصوص غالبًا ما تكون صغيرة، فإن هذه المهمة تستفيد بشكل كبير من التدريب المسبق. استنادًا إلى تجاربنا على اللغة التشيكية، وهي لغة ذات تركيب نحوى معقد، نجد أن التدريب المسبق يمكّننا من تدريب نماذج تعمل من البداية إلى النهاية بتحسن ملحوظ في الأداء، حسب معايير تقييم آلية وتقييم بشري. كما نُظهر أن هذا النهج يتمتع بعدة خصائص مرغوبة، منها تحسين الأداء في السيناريوهات التي تفتقر إلى كميات كبيرة من البيانات، ومتانة الأداء تجاه قيم الحقول (السلاطات) غير المُدرَكة مسبقًا.