HyperAIHyperAI
منذ 2 أشهر

توليد النصوص الطويلة من خلال التدريب المعادي باستخدام المعلومات المسربة

Jiaxian Guo; Sidi Lu; Han Cai; Weinan Zhang; Yong Yu; Jun Wang
توليد النصوص الطويلة من خلال التدريب المعادي باستخدام المعلومات المسربة
الملخص

توليد النصوص المتماسكة والمعنوية بشكل تلقائي له العديد من التطبيقات في الترجمة الآلية وأنظمة الحوار ووصف الصور وغيرها. مؤخرًا، أظهرت شبكات المنافسة التوليدية (GAN) التي تستخدم نموذج تمييز لتهديد تدريب النموذج التوليدي كسياسة للتعلم التعزيزي نتائجًا واعدة في توليد النص. ومع ذلك، فإن الإشارة التوجيهية العددية متوفرة فقط بعد إنتاج النص الكامل ولا تحتوي على معلومات بينية عن بنية النص أثناء عملية التوليد. ولذلك، فإنها تحد من نجاحها عند زيادة طول عينات النص المُنتَجة (أكثر من 20 كلمة). في هذا البحث، نقترح إطارًا جديدًا يُسمى LeakGAN لمعالجة مشكلة توليد النصوص الطويلة. نسمح للشبكة التمييزية بأن تسرب خصائص مستخلصة عالية المستوى إلى الشبكة التوليدية لمساعدتها بشكل أكبر في الارشاد. يدمج المولد هذه الإشارات المعلوماتية في جميع خطوات التوليد عبر وحدة إضافية تُسمى الوحدة الإدارية (Manager)، والتي تستقبل خصائص الكلمات المنتجة حاليًا وتنتج متجهًا خفيًا لتوجيه وحدة العامل (Worker) في إنتاج الكلمة التالية. أثبتت التجارب الواسعة التي أجريناها على البيانات الاصطناعية ومهمات العالم الحقيقي باستخدام اختبار تورينغ أن LeakGAN فعّال للغاية في توليد النصوص الطويلة ويحسن أيضًا الأداء في سيناريوهات توليد النصوص القصيرة. وأكثر أهمية من ذلك، بدون أي إشراف، ستكون LeakGAN قادرة على تعلم بناء الجمل ضمنياً فقط من خلال التفاعل بين الوحدة الإدارية والوحدة العاملة.