HyperAIHyperAI

Command Palette

Search for a command to run...

متوسط متحرك أسّي للاستناد الذاتي والتعلم شبه المراقب

Zhaowei Cai Avinash Ravichandran Subhransu Maji Charless Fowlkes Zhuowen Tu Stefano Soatto

الملخص

نقدّم استبدالًا قابلاً للتركيب لـ "التوحيد بالدفعة" (Batch Normalization - BN)، يُسمّى "التوحيد بالمتوسط المتحرك الأسي" (Exponential Moving Average Normalization - EMAN)، والذي يُحسّن أداء التقنيات الحالية القائمة على نموذج التدريب المُعلّم-الطالب في التعلّم الذاتي والشبه المُعلّم. على عكس التوحيد القياسي، الذي يحسب الإحصائيات داخل كل دفعة على حدة، فإن EMAN، عند استخدامه في النموذج المُعلّم، يُحدّث إحصائياته من خلال المتوسط المتحرك الأسي للإحصائيات المستمدة من نموذج الطالب (الذي يعتمد على BN). يقلّل هذا التصميم من الاعتماد المتبادل الداخلي بين العينات المميّزة في BN، ويعزّز قدرة النموذج المُعلّم على التعميم. يُحسّن EMAN النماذج القوية في التعلّم الذاتي بنسبة 4-6 نقاط، وفي التعلّم الشبه المُعلّم بنسبة تقارب 7 نقاط، عند توفر 1% أو 10% من العلامات المُعلّمة على مجموعة بيانات ImageNet. تُظهر هذه التحسينات اتساقًا كبيرًا عبر مختلف الطرق، وبنية الشبكات، ومدة التدريب، والمستندات، مما يدلّ على الفعالية العامة لهذا التقنية. يمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/amazon-research/exponential-moving-average-normalization.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp