HyperAIHyperAI
منذ 17 أيام

فهم وتحسين التطبيع الطبقي

Jingjing Xu, Xu Sun, Zhiyuan Zhang, Guangxiang Zhao, Junyang Lin
فهم وتحسين التطبيع الطبقي
الملخص

يُعد التطبيع الطبقي (LayerNorm) تقنية لتطبيع توزيعات الطبقات الوسطية. ويُمكّن من تحسين تدفق التدرجات، وتسريع عملية التدريب، وتحقيق دقة أفضل في التعميم. ومع ذلك، لا يزال غير واضح من أين تنشأ فعالية هذه التقنية. في هذه الورقة، يكمن الإسهام الرئيسي في خطوة متقدمة نحو فهم أعمق لطبقة التطبيع الطبقي. يعتقد العديد من الدراسات السابقة أن نجاح LayerNorm يعود إلى التطبيع الأمامي. على العكس من ذلك، نجد أن مشتقات المتوسط والانحراف المعياري تكون أكثر أهمية من التطبيع الأمامي من خلال إعادة تمركز وإعادة مقياس التدرجات العكسية. بالإضافة إلى ذلك، نكتشف أن المعاملات الخاصة بـ LayerNorm، بما في ذلك الانحياز (bias) والازدياد (gain)، تزيد من خطر التفوق (over-fitting) ولا تعمل في معظم الحالات. وتُظهر التجارب أن نسخة بسيطة من LayerNorm (LayerNorm-simple) التي لا تحتوي على الانحياز والازدياد تتفوّق على LayerNorm على أربع مجموعات بيانات، وتُحقّق أداءً متقدماً في ترجمة الآلة En-Vi. ولحل مشكلة التفوق، نقترح طريقة تطبيع جديدة تُسمى التطبيع التكيفي (AdaNorm)، عن طريق استبدال الانحياز والازدياد بدالة تحويل جديدة. وتُظهر التجارب أن AdaNorm تحقق نتائج أفضل من LayerNorm على سبع من أصل ثمانٍ من مجموعات البيانات.

فهم وتحسين التطبيع الطبقي | أحدث الأوراق البحثية | HyperAI