FlowSeq: توليد تسلسل شرطي غير ذاتي التوليد باستخدام التدفق التوليدي

معظم نماذج التحويل من التسلسل إلى التسلسل (seq2seq) تكون ذاتية التوليد؛ حيث تُولّد كل رمز بالاعتماد على الرموز التي تم إنتاجها سابقًا. في المقابل، تُولّد النماذج غير ذاتية التوليد من التسلسل إلى التسلسل جميع الرموز في مرحلة واحدة، مما يؤدي إلى زيادة الكفاءة من خلال المعالجة المتوازية على الأجهزة مثل وحدات معالجة الرسوميات (GPUs). ومع ذلك، فإن نمذجة التوزيع المشترك لجميع الرموز في نفس الوقت أمرٌ صعب، حتى مع تعقيد هياكل النماذج بشكل متزايد، تظل الدقة متأخرة بشكل كبير مقارنة بنماذج ذاتية التوليد. في هذا البحث، نقترح نموذجًا بسيطًا وفعالًا وفعّالًا لتوليد التسلسلات غير ذاتية التوليد باستخدام نماذج المتغيرات المخفية. وبشكل خاص، نعتمد على تقنية التدفق التوليدي (generative flow)، وهي تقنية أنيقة لتمثيل التوزيعات المعقدة باستخدام الشبكات العصبية، ونصمم عدة طبقات من التدفق مُخصصة لتمثيل الكثافة الشرطية للمتغيرات المخفية التسلسلية. وقد قُمنا بتقييم هذا النموذج على ثلاث مجموعات بيانات معيارية لترجمة الآلة العصبية (NMT)، حيث حقق أداءً مُComparable مع أحدث النماذج غير ذاتية التوليد في ترجمة الآلة العصبية، وبزمن تفكيك تقريبًا ثابتًا بالنسبة لطول التسلسل.