HyperAIHyperAI
منذ شهر واحد

تدفقات الباقيات لنموذج التوليد القابل للعكس

Ricky T. Q. Chen; Jens Behrmann; David Duvenaud; Jörn-Henrik Jacobsen
تدفقات الباقيات لنموذج التوليد القابل للعكس
الملخص

النماذج المولدة القائمة على التدفق تُشَكِّل توزيعات الاحتمال من خلال تحويل قابل للعكس ويمكن تدريبها باستخدام الأرجحية القصوى. توفر الشبكات العصبية الباقية القابلة للعكس عائلة مرنة من التحويلات حيث يتعين تحقيق القابلية للعكس فقط من خلال شروط ليبشيتز بدلاً من القيود المعمارية الصارمة. ومع ذلك، اعتمد العمل السابق على تقديرات كثافة السجل المتحيزة لتدريب الشبكات العصبية الباقية القابلة للعكس، والتي زادت حيزيتها مع زيادة قدرة التعبير عن الشبكة. نقدم تقديرًا غير متحيز وقابل للتنفيذ للكثافة السجل باستخدام مقدر "الروليت الروسية" (Russian roulette)، ونخفض الذاكرة المطلوبة أثناء التدريب باستخدام سلسلة لا نهائية بديلة للميل. بالإضافة إلى ذلك، نحسن الكتل الباقية القابلة للعكس من خلال اقتراح استخدام دوال تنشيط تتجنب تشبع المشتقات وتعميم شرط ليبشيتز إلى المعايير المختلطة المستحثة. يحقق النهج الناتج، الذي يُعرف باسم جريان الكتل الباقية (Residual Flows)، أداءً رائدًا في تقدير الكثافة بين النماذج القائمة على التدفق، ويتفوق على الشبكات التي تستعمل كتل الربط في النمذجة المولدة والتمييزية المشتركة.

تدفقات الباقيات لنموذج التوليد القابل للعكس | أحدث الأوراق البحثية | HyperAI