نماذج التمايز الاحتمالي المهيكلة للفراغ الكامن الهيكلية

تُعنى هذه الدراسة بمشكلة التعلّم الخاصة بنموذج الأولي القائم على الطاقة (Energy-Based Prior Model) ونموذج المُولّد متعدد الطبقات. يحتوي نموذج المُولّد متعدد الطبقات، الذي يتضمّن عدة طبقات من المتغيرات الخفية مرتبة في هيكل هرمي من الأعلى إلى الأسفل، عادةً على افتراض نموذج أولي غاوسي. يمكن أن يكون هذا النموذج الأولي محدودًا من حيث القدرة على التعبير، مما يؤدي إلى فجوة بين التوزيع اللاحق للمُولّد والتوزيع الأولي، ويُعرف هذا التحدي بمشكلة "الفجوة الأولية" (Prior Hole Problem). وقد استكشفت الدراسات الحديثة تعلّم نموذج الأولي القائم على الطاقة (EBM) كنموذج ثانوي مكمل في المرحلة الثانية لسد هذه الفجوة. ومع ذلك، فإن نموذج EBM المُعرّف على فضاء متعدد الطبقات من المتغيرات الخفية يمكن أن يكون متعدد الأشكال (highly multi-modal) بشكل كبير، مما يجعل العينة من هذا النموذج الأولي الحدي (Marginal EBM Prior) أمرًا صعبًا عمليًا، ما يؤدي إلى تعلّم غير فعّال لنموذج EBM. وللتغلب على هذا التحدي، نقترح الاستفادة من مخطط التوزيع التدرجي (Diffusion Probabilistic Scheme) لتخفيف العبء الناتج عن عينة EBM، وبالتالي تسهيل عملية تعلّم EBM. تُظهر تجاربنا الواسعة أداءً متفوّقًا لنموذج EBM الأولي المُتعلّم عبر التوزيع التدرجي في مجموعة متنوعة من المهام الصعبة.