نقل الأسلوب للنصوص: إعادة التدريب، الإبلاغ عن الأخطاء، المقارنة مع إعادة الكتابة

يظهر هذا البحث أن منهجية التقييم القياسية لنقل الأسلوب تحمل عدة مشاكل كبيرة. أولاً، تتباين المقاييس القياسية لدقة الأسلوب وحفظ الدلالة بشكل كبير عند التشغيلات المتكررة. ولذلك، يجب الإبلاغ عن هامش الخطأ للنتائج المحققة. ثانياً، بدءًا من قيم معينة لمعدل التقييم الثنائي تحت الدراسة (BLEU) بين المدخل والمخرج ودقة نقل المشاعر، فإن تحسين هذين المعيارين القياسيين ينحرف عن الهدف الحدسي لمهام نقل الأسلوب. أخيراً، بسبب طبيعة المهمة نفسها، يوجد اعتماد محدد بين هذين المعيارين يمكن التلاعب به بسهولة. في ظل هذه الظروف، نقترح الأخذ بعين الاعتبار معدل BLEU بين المدخل وإعادة الصياغة التي كتبها البشر في مقاييس الأداء. كما نقترح ثلاثة أطر جديدة تتفوق على أفضل التقنيات الحالية من حيث هذا المعيار.