الترجمة العصبية الآلية غير المراقبة

رغم النجاحات الحديثة لترجمة الآلة العصبية (NMT) في المعايير القياسية، فإن نقص البيانات المتوازية الكبيرة يشكل مشكلة عملية رئيسية للعديد من أزواج اللغات. قد تم تقديم عدة اقتراحات لتخفيف هذه المشكلة، مثل تقنيات التثليث والتعلم شبه المنظوم، ولكنها لا تزال تتطلب إشارة عابرة للغات قوية. في هذا البحث، نحن نزيل تمامًا الحاجة إلى البيانات المتوازية ونقترح طريقة جديدة لتدريب نظام ترجمة الآلة العصبية بطريقة غير مراقبة تمامًا، معتمدين فقط على Corpora أحادية اللغة. نموذجنا يستند إلى الأبحاث الحديثة حول الخرائط المضمنة غير المراقبة، ويتألف من نموذج مشفّر-مفكك (Encoder-Decoder) ذو انتباه معدّل قليلًا يمكن تدريبه على Corpora أحادية اللغة باستخدام مزيج من التنقية (Denoising) والترجمة العكسية (Backtranslation). رغم بساطة هذا النهج، فإن نظامنا يحقق 15.56 و10.21 نقطة BLEU في ترجمة WMT 2014 من الفرنسية إلى الإنجليزية ومن الألمانية إلى الإنجليزية على التوالي. يمكن أيضًا لنموذجنا الاستفادة من Corpora متوازية صغيرة، حيث يصل إلى 21.81 و15.24 نقطة عند دمجه مع 100,000 جملة متوازية، على التوالي. لقد تم إطلاق تنفيذنا كمشروع مفتوح المصدر.