Zitong Yang Aonan Zhang Hong Liu Tatsunori Hashimoto Emmanuel Candès Chong Wang Ruoming Pang

الملخص

نُقدِّم تدريبًا مُصطنعًا مُتَكَرِّرًا (SBP)، وهو إجراء لتدريب النماذج اللغوية (LM) يبدأ بتعلم نموذج للعلاقة بين المستندات من خلال مجموعة البيانات المُدرَّبة مسبقًا، ثم يُستخدَم هذا النموذج لتصنيع مجموعة جديدة ضخمة من البيانات لتدريب مشترك. في حين أن التدريب القياسي يُعلِّم النماذج اللغوية على استخلاص الارتباطات السببية بين الرموز داخل مستند واحد، فإنه لم يُصمَّم لتمثيل العلاقات بين المستندات الغنية والقابلة للتعلم بكفاءة، والتي قد تؤدي إلى أداء أفضل. وقد قمنا بتحقق من فعالية SBP من خلال تصميم بيئة تدريب مُعادلة من حيث قدرة الحوسبة، وتم تدريب نموذج بـ 3 مليارات معامل من الصفر على ما يصل إلى تريليون رمز. ووجدنا أن SBP يُحسِّن باستمرار على نموذج مُقارِن قوي يعتمد على التكرار، ويُحقِّق جزءًا كبيرًا من التحسن في الأداء الممكن تحقيقه بواسطة حد أعلى نظري (Oracle Upper Bound) الذي يمتلك وصولًا إلى 20 مرة أكثر من البيانات الفريدة. كما أظهر التحليل النوعي أن المستندات المُصَنَّعة لا تقتصر على إعادة صياغة بسيطة، بل تبدأ SBP باستخلاص مفهوم رئيسي من المادة الأصلية، ثم تُصاغ سردًا جديدًا على أساسه. بالإضافة إلى الأداء التجريبي القوي، يُمكن تفسير SBP تفسيرًا طبيعيًا من منظور بايزي: إذ يتعلم المُصنِّع ضمنيًا كيفية استخلاص المفاهيم الخفية المشتركة بين المستندات المرتبطة.