Date

منذ عام واحد

يعد انهيار النموذج مشكلة في مجال الذكاء الاصطناعي، وخاصة في مجال التعلم الآلي وتدريب نماذج التعلم العميق. يشير هذا إلى عندما يبدأ النموذج في توليد بيانات بعيدة كل البعد عن توزيع البيانات الحقيقي أثناء التدريب، وسوف ينخفض أداء النموذج بشكل حاد، وفي النهاية سيصبح ناتج النموذج بلا معنى.

لقد حظي مفهوم انهيار النموذج باهتمام كبير في عام 2024، وخاصة في تدريب نماذج اللغة الكبيرة (LLMs). ورق"هل انهيار النموذج أمر لا مفر منه؟ كسر لعنة التكرار من خلال تجميع البيانات الحقيقية والاصطناعيةمن خلال التحليل التجريبي والنظري، تم استكشاف مشكلة انهيار النموذج، واقتُرحت استراتيجية لتجنب انهياره من خلال تجميع البيانات. نُشرت الورقة البحثية في "ورشة عمل ICML 2024 حول نماذج الأساس في العالم الحقيقي". تشير الورقة إلى أنه عند تدريب نموذج على بيانات مُولّدة ذاتيًا، سينخفض أداؤه تدريجيًا حتى يصبح عديم الفائدة. تُسمى هذه الظاهرة "انهيار النموذج". وقد أثبت الباحثون من خلال التجارب أنه عند استبدال البيانات الحقيقية الأصلية بكل جيل من البيانات الاصطناعية، سيؤدي ذلك بالفعل إلى انهيار النموذج. ثم أظهروا أنه يمكن تجنب انهيار النموذج من خلال تجميع أجيال متتالية من البيانات الاصطناعية إلى جانب البيانات الحقيقية الأصلية، وأن هذه النتائج تنطبق على مجموعة متنوعة من أحجام النماذج وبنياتها ومعلماتها الفائقة.