متوسط متحرك أسّي للاستناد الذاتي والتعلم شبه المراقب

نقدّم استبدالًا قابلاً للتركيب لـ "التوحيد بالدفعة" (Batch Normalization - BN)، يُسمّى "التوحيد بالمتوسط المتحرك الأسي" (Exponential Moving Average Normalization - EMAN)، والذي يُحسّن أداء التقنيات الحالية القائمة على نموذج التدريب المُعلّم-الطالب في التعلّم الذاتي والشبه المُعلّم. على عكس التوحيد القياسي، الذي يحسب الإحصائيات داخل كل دفعة على حدة، فإن EMAN، عند استخدامه في النموذج المُعلّم، يُحدّث إحصائياته من خلال المتوسط المتحرك الأسي للإحصائيات المستمدة من نموذج الطالب (الذي يعتمد على BN). يقلّل هذا التصميم من الاعتماد المتبادل الداخلي بين العينات المميّزة في BN، ويعزّز قدرة النموذج المُعلّم على التعميم. يُحسّن EMAN النماذج القوية في التعلّم الذاتي بنسبة 4-6 نقاط، وفي التعلّم الشبه المُعلّم بنسبة تقارب 7 نقاط، عند توفر 1% أو 10% من العلامات المُعلّمة على مجموعة بيانات ImageNet. تُظهر هذه التحسينات اتساقًا كبيرًا عبر مختلف الطرق، وبنية الشبكات، ومدة التدريب، والمستندات، مما يدلّ على الفعالية العامة لهذا التقنية. يمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/amazon-research/exponential-moving-average-normalization.