HyperAIHyperAI

Command Palette

Search for a command to run...

MaskGAN: توليد نص أفضل من خلال ملء الفراغات _

William Fedus Ian Goodfellow Andrew M. Dai

الملخص

غالبًا ما تكون نماذج توليد النص العصبي نماذج لغة ذاتية التوليد (autoregressive) أو نماذج seq2seq. تُعد النماذج العصبية ذاتية التوليد وseq2seq التي تولّد النص من خلال عينة الكلمات تباعًا، حيث يُشترط كل كلمة على الكلمات السابقة في النموذج، من أحدث النماذج المتطورة في عدة معايير ترجمة آلية وتلخيص نصي. غالبًا ما تُعرّف هذه المعايير من خلال مقياس "الغموض التحقق" (validation perplexity)، على الرغم من أن هذا المقياس ليس قياسًا مباشرًا لجودة العينات. تُدرّس نماذج اللغة عادةً باستخدام طريقة الاحتمال الأقصى (maximum likelihood)، وبشكل شائع باستخدام تقنية "الإجبار المدرسي" (teacher forcing). إن تقنية الإجبار المدرسي مناسبة جدًا لتحسين مقياس الغموض، لكنها قد تؤدي إلى جودة منخفضة للعينات الناتجة، لأن توليد النص يتطلب الاعتماد على تسلسلات من الكلمات لم تُشاهد قط أثناء التدريب. نقترح تحسين جودة العينات باستخدام الشبكات التوليدية المتنافسة (Generative Adversarial Networks - GANs)، التي تُدرّس بشكل صريح المُولّد (generator) على إنتاج عينات عالية الجودة، وقد أظهرت نجاحًا كبيرًا في مجال توليد الصور. ومع ذلك، كانت GANs مصممة في الأصل لإنتاج قيم قابلة للتفاضل، ما يجعل توليد اللغة المتقطعة (discrete language generation) تحديًا كبيرًا أمامها. نقدّم نموذج GAN شرطي من نوع "اللاعب-المُقيّم" (actor-critic conditional GAN) يُكمّل النص المفقود بناءً على السياق المحيط به. ونُظهر دليلًا كميًا ونوعيًا على أن هذا النموذج يُنتج عينات نصية أكثر واقعية مقارنةً بنموذج تم تدريبه باستخدام الاحتمال الأقصى.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp