Bo Liu Chuanyang Jin Seungone Kim Weizhe Yuan Wenting Zhao Ilia Kulikov Xian Li Sainbayar Sukhbaatar Jack Lanchantin Jason Weston

الملخص

تتطلب الأنظمة القادرة على التحسين الذاتي تفاعلًا مع البيئة لتحقيق التكيّف المستمر. نقدّم إطار SPICE (اللعب الذاتي في بيئات الملفات)، وهو إطار لتعلم التقوية، حيث يُؤدّي نموذج واحد دورين: "المُتحدّي" الذي يستخرج وثائق من مجموعة كبيرة من البيانات لتكوين مهام تفكير متنوعة، و"القائم بالاستدلال" الذي يحلّها. من خلال الديناميات التنافسية، يُنشئ المُتحدّي منهجًا تدريسيًا تلقائيًا على حدود القدرات الحالية للقائم بالاستدلال، في حين يوفّر التأصيل في الملفات إشارة خارجية غنية وشاملة تقريبًا لا تنضب، الضرورية لتحقيق التحسين المستمر. على عكس الطرق الحالية للعب الذاتي غير المُؤسَّس، التي تُقدّم فوائد محدودة، يحقّق SPICE مكاسب ثابتة في معايير الرياضيات (+8.9%) والتفكير العام (+9.8%) على عدة عائلات نماذج. تُظهر تحليلاتنا أن التأصيل في الوثائق يُعدّ عنصرًا محوريًا في SPICE، حيث يمكّن من توليد أهداف متزايدة الصعوبة بشكل مستمر، وتحقيقها، مما يتيح التحسين الذاتي المستدام.