HyperAIHyperAI
منذ 2 أشهر

الماكينات التلقائية المتغيرة شبه المطفأة

Yoon Kim; Sam Wiseman; Andrew C. Miller; David Sontag; Alexander M. Rush
الماكينات التلقائية المتغيرة شبه المطفأة
الملخص

الاستدلال التغزلي الموزون (Amortized Variational Inference - AVI) يحل محل الاستدلال المحلي المحدد لكل حالة بشبكة استدلال عالمية. رغم أن الـ AVI قد مكّن من تدريب كفاءة للنماذج الجينيراتيفية العميقة مثل المُشفرات التغزلية المتغيرة (Variational Autoencoders - VAE)، إلا أن الأبحاث التجريبية الحديثة تقترح أن شبكات الاستدلال يمكن أن تنتج معلمات تغزلية غير مثلى. نقترح نهجًا هجينًا، يستخدم الـ AVI لتهيئة المعلمات التغزلية ويعمل على تشغيل الاستدلال التغزلي العشوائي (Stochastic Variational Inference - SVI) لتحسينها. وبشكل حاسم، تكون إجراءات الـ SVI المحلية قابلة للمفاضلة، مما يسمح بتدريب الشبكة الاستدلالية والنموذج الجينيراتيفي بشكل متصل باستخدام التحسين القائم على التدرج. هذا النهج شبه الموزون يمكّن استخدام نماذج جينيراتيفية غنية دون الوقوع في ظاهرة الانهيار الخلفي (posterior-collapse) التي تحدث غالبًا أثناء تدريب الـ VAE في مشاكل مثل توليد النصوص. أظهرت التجارب أن هذا النهج يتفوق على أسس ذات صلة قوية مثل الأنموذج الذاتي الرجعي والنموذج التغزلي في مجموعات البيانات النصية والصورية القياسية.