منع الانهيار الخلفي باستخدام delta-VAEs

بسبب ظاهرة "انهيار الخلفي" (posterior collapse)، تواجه النماذج المولدة الحالية للمتغيرات الكامنة خيار تصميم صعب يقتضي إما تقليل قدرة المفكك (decoder) أو زيادة الهدف ليتجاوز مجرد تعظيم احتمالية البيانات. في هذا البحث، نقترح بديلاً يستخدم أقوى النماذج المولدة كمفككات، مع ضمان تحسين حد الفارياشي الأدنى وضمان حفظ المتغيرات الكامنة لمعلومات مفيدة وترميزها. يتم تحقيق هذا من خلال فرض قيود على العائلة الفارياشية للخلفي لتكون على بعد أدنى من السابق (prior). بالنسبة للنماذج المتسلسلة للمتغيرات الكامنة، يشبه نهجنا الطريقة التقليدية لتعلم التمثيل المعروفة باسم تحليل السمات البطيئة (slow feature analysis). نوضح فعالية نهجنا في نمذجة النصوص على مجموعة بيانات LM1B وفي نمذجة الصور: تعلم التمثيلات، تحسين جودة العينات، وتحقيق أفضل حالاً من الاحتمال اللوغاريتمي على CIFAR-10 و ImageNet $32\times 32$.