HyperAIHyperAI

Command Palette

Search for a command to run...

FAdam: Adam هو مُحسِّن ذو منحدر طبيعي يعتمد على معلومات فيشر التقديرية القطرية

Dongseong Hwang

الملخص

يُنشئ هذا البحث أساسًا رياضيًا لمحسّن Adam، مُبيّنًا ارتباطه بخوارزمية الانحدار الطبيعي من خلال الهندسة الريمانية والهندسة المعلوماتية. نقدّم تحليلًا مفهومًا وشاملاً لمصفوفة المعلومات الفيشرية التقديرية القطرية (FIM) المستخدمة في Adam، موضحين جميع التقريبات التفصيلية، ونُوصي باستخدام دوال الاحتمال اللوغاريتمية كدالة خسارة، والتي ينبغي أن تستند إلى توزيعات منفصلة، نظرًا للقيود المفروضة على مصفوفة المعلومات الفيشرية التقديرية. يكشف تحليلنا عن عيوب في الخوارزمية الأصلية لـ Adam، مما يؤدي إلى اقتراح تعديلات مثل تحسين حساب الزخم، وتعديل تصحيح التحيّز، وضبط قيمة الإبسيلون بشكل تكيفي، وتقليم المُشتقات (gradient clipping). كما نُعدّل حد تقليل الوزن (weight decay) بناءً على الإطار النظري الذي نقترحه. تُظهر الخوارزمية المعدّلة، المعروفة باسم Fisher Adam (FAdam)، أداءً متفوّقًا في مجالات متنوعة تشمل النماذج اللغوية الكبيرة (LLM)، والكشف عن الكلام (ASR)، ونماذج VQ-VAE، محققة نتائج من الدرجة الأولى في مجال ASR.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp