Efficient-VDVAE: أقل هو أكثر

في السنوات الأخيرة، ظهرت النماذج الهرمية المُحَوَّلة التلقائية (Hierarchical VAEs) كخيار موثوق لتقدير الاحتمال الأقصى. ومع ذلك، تعرّضت الأبحاث في هذا المجال لعوائق ناتجة عن مشاكل عدم الاستقرار ومتطلبات الحوسبة العالية. نقدم تحسينات بسيطة على نموذج VAE العميق جدًا (Very Deep VAE) تُسهم في تسريع عملية التقارب بنسبة تصل إلى 2.6 مرة، وتُقلّل من استهلاك الذاكرة بنسبة تصل إلى 20 مرة، وتحسّن الاستقرار أثناء التدريب. وعلى الرغم من هذه التغييرات، تُظهر نماذجنا أداءً مماثلاً أو أفضل من النماذج الرائدة حاليًا من حيث أداء سلبي اللوغاريتم الاحتمالي (negative log-likelihood) على جميع مجموعات الصور السبع الشائعة التي تم تقييمها. كما نقدّم حجة ضد استخدام معايير القياس ذات 5 بت (5-bit benchmarks) لقياس أداء النماذج الهرمية، نظرًا للتحيّزات غير المرغوب فيها الناتجة عن التكميم بـ 5 بت. علاوةً على ذلك، نُظهر تجريبيًا أن حوالي 3% فقط من أبعاد الفضاء الخفي (latent space) للنموذج الهرمي كافية لتمثيل معظم معلومات الصورة دون فقدان الأداء، مما يفتح المجال لاستغلال فضاء النموذج الخفي بشكل فعّال في المهام اللاحقة. ونُطلق رمز المصدر والنماذج لدينا على الرابط التالي: https://github.com/Rayhane-mamah/Efficient-VDVAE.