Command Palette
Search for a command to run...
فك التعمق الطبيعي: التحكم غير المتماثل في القواعد التي تنجو من التدريب المسبق
فك التعمق الطبيعي: التحكم غير المتماثل في القواعد التي تنجو من التدريب المسبق
Juliana Li Diya Sreedhar
الملخص
في منتصف تشغيل عادي للتدريب المسبق، يتعلم نموذج لغوي صغير قاعدة الضمير والنوع: عند تحفيزه باسم فتاة ("بكت سوزان لأن")، يحدد الضمير التالي على أنه "هي"، مع تعميم ذلك على اختبارات القياس المعزولة (0.94 بحلول الخطوة 925). وبحلول الخطوة 3500، يسجل نفس النموذج درجات قريبة من الصفر على نفس الاختبارات، على الرغم من أن أدلة القاعدة لا تزال موجودة في بيانات التدريب. ونطلق على هذا الانعكاس الداخلي أثناء التشغيل اسم الزوال الطبيعي للفهم: حيث تقرر مجموعة البيانات النصية، دون أي أثر في منحنى الخسارة، القواعد التي تعلمها النموذج والتي يحتفظ بها. ويمكن التنبؤ بالقواعد التي تنجو من خلال إحصائية واحدة لمجموعة البيانات النصية: وهي مدى تكرار ظهور القاعدة كرابحة في تدفق التدريب. وعبر عمليات تشغيل دون تدخل (مجموعتان نصيتان، ثلاث ميزانيات، ثلاث بذور عشوائية)، يحدد تردد الدعم مصير القاعدة؛ بينما تقتصر نسبة البيانات إلى المعاملات على تعديل عمق السقوط الذي تنزلق فيه القاعدة المحكوم عليها بالفشل. وتظهر نفس ديناميكيات الظهور ثم الانهيار في نقاط تفتيش Pythia العامة، حيث يرتبط عمق الانهيار بحجم النموذج كما هو متوقع. ويتمثل هذا النسيان في إزاحة: حيث يتفوق نمط سطحي منافس على القاعدة، ويتجاوز هامش اللوغاريتم الاحتمالي بينهما الصفر خلال 100 خطوة تدريبية من حدوث الانهيار السلوكي. ويتسم التحكم في هذا المصير بعدم التماثل: فالتعديل نفسه الذي يدمر قاعدة عند الطلب لا يمكنه استعادتها. ويؤدي تحويل الدعم إلى أدلة مضادة في الموقع إلى القضاء على القاعدة باستجابة جرعية أحادية الاتجاه في حالتي قاعدتين غير مرتبطتين؛ ولكن حقن الدعم مرة أخرى، حتى بمعدل يصل إلى 450 ضعف المستوى الذي يدعمه بشكل طبيعي، لا يحقق أي تعافٍ. وقد تم تسجيل كل عتبة تأكيدية وتنبؤ مسبقًا قبل قراءة البيانات التي تحكمها.