FAdam: Adam هو مُحسِّن ذو منحدر طبيعي يعتمد على معلومات فيشر التقديرية القطرية

يُنشئ هذا البحث أساسًا رياضيًا لمحسّن Adam، مُبيّنًا ارتباطه بخوارزمية الانحدار الطبيعي من خلال الهندسة الريمانية والهندسة المعلوماتية. نقدّم تحليلًا مفهومًا وشاملاً لمصفوفة المعلومات الفيشرية التقديرية القطرية (FIM) المستخدمة في Adam، موضحين جميع التقريبات التفصيلية، ونُوصي باستخدام دوال الاحتمال اللوغاريتمية كدالة خسارة، والتي ينبغي أن تستند إلى توزيعات منفصلة، نظرًا للقيود المفروضة على مصفوفة المعلومات الفيشرية التقديرية. يكشف تحليلنا عن عيوب في الخوارزمية الأصلية لـ Adam، مما يؤدي إلى اقتراح تعديلات مثل تحسين حساب الزخم، وتعديل تصحيح التحيّز، وضبط قيمة الإبسيلون بشكل تكيفي، وتقليم المُشتقات (gradient clipping). كما نُعدّل حد تقليل الوزن (weight decay) بناءً على الإطار النظري الذي نقترحه. تُظهر الخوارزمية المعدّلة، المعروفة باسم Fisher Adam (FAdam)، أداءً متفوّقًا في مجالات متنوعة تشمل النماذج اللغوية الكبيرة (LLM)، والكشف عن الكلام (ASR)، ونماذج VQ-VAE، محققة نتائج من الدرجة الأولى في مجال ASR.