تعلم تمثيلات الجمل باستخدام رمز RNN المُشفِّر-المُفكِّك لترجمة الآلة الإحصائية

في هذا البحث، نقترح نموذج شبكة عصبية جديد يُسمى RNN المُشفر-المُفكك (RNN Encoder-Decoder) يتكون من شبكتين عصبيتين متكررتين (Recurrent Neural Networks - RNN). تقوم إحدى الشبكتين بتشفير سلسلة من الرموز إلى تمثيل متجهي ثابت الطول، بينما تقوم الأخرى بفك تشفير هذا التمثيل إلى سلسلة أخرى من الرموز. يتم تدريب المشفر والمُفكك المقترحين معًا بهدف تعظيم الاحتمال الشرطي للسلسلة المستهدفة بالنظر إلى السلسلة المصدر. وقد وجدت التجارب أن أداء نظام الترجمة الآلية الإحصائي يتحسن عند استخدام الاحتمالات الشرطية لأزواج العبارات التي يتم حسابها بواسطة RNN المُشفر-المُفكك كميزة إضافية في النموذج اللوغاريتمي الخطي الموجود. بشكل نوعي، نظهر أن النموذج المقترح يتعلم تمثيلًا ذا معنى دلالي ونحوي للعبارات اللغوية.