MaskGAN: توليد نص أفضل من خلال ملء الفراغات _

غالبًا ما تكون نماذج توليد النص العصبي نماذج لغة ذاتية التوليد (autoregressive) أو نماذج seq2seq. تُعد النماذج العصبية ذاتية التوليد وseq2seq التي تولّد النص من خلال عينة الكلمات تباعًا، حيث يُشترط كل كلمة على الكلمات السابقة في النموذج، من أحدث النماذج المتطورة في عدة معايير ترجمة آلية وتلخيص نصي. غالبًا ما تُعرّف هذه المعايير من خلال مقياس "الغموض التحقق" (validation perplexity)، على الرغم من أن هذا المقياس ليس قياسًا مباشرًا لجودة العينات. تُدرّس نماذج اللغة عادةً باستخدام طريقة الاحتمال الأقصى (maximum likelihood)، وبشكل شائع باستخدام تقنية "الإجبار المدرسي" (teacher forcing). إن تقنية الإجبار المدرسي مناسبة جدًا لتحسين مقياس الغموض، لكنها قد تؤدي إلى جودة منخفضة للعينات الناتجة، لأن توليد النص يتطلب الاعتماد على تسلسلات من الكلمات لم تُشاهد قط أثناء التدريب. نقترح تحسين جودة العينات باستخدام الشبكات التوليدية المتنافسة (Generative Adversarial Networks - GANs)، التي تُدرّس بشكل صريح المُولّد (generator) على إنتاج عينات عالية الجودة، وقد أظهرت نجاحًا كبيرًا في مجال توليد الصور. ومع ذلك، كانت GANs مصممة في الأصل لإنتاج قيم قابلة للتفاضل، ما يجعل توليد اللغة المتقطعة (discrete language generation) تحديًا كبيرًا أمامها. نقدّم نموذج GAN شرطي من نوع "اللاعب-المُقيّم" (actor-critic conditional GAN) يُكمّل النص المفقود بناءً على السياق المحيط به. ونُظهر دليلًا كميًا ونوعيًا على أن هذا النموذج يُنتج عينات نصية أكثر واقعية مقارنةً بنموذج تم تدريبه باستخدام الاحتمال الأقصى.