نهج تعليم تناقضي لتدريب الأوليات في مُشفّرات التوليد التلقائي التغيرية

تُعد نماذج التشفير التلقائي المتغير (VAEs) واحدة من النماذج القوية القائمة على الاحتمال، وتُستخدم في مجالات متعددة. ومع ذلك، تواجه صعوبات في إنتاج صور عالية الجودة، خصوصًا عند أخذ العينات من التوزيع الأولي دون أي تعديل. أحد التفسيرات لضعف الأداء التوليدية لـ VAEs هو مشكلة "الفجوة في التوزيع الأولي": حيث يفشل التوزيع الأولي في التوافق مع التوزيع التقريبي المجمّع (aggregate approximate posterior). وبسبب هذا التباين، توجد مناطق في الفضاء الخفي ذات كثافة عالية وفقًا للتوزيع الأولي، لكنها لا تتوافق مع أي صورة مشفرة. وتُنتج العينات من هذه المناطق صورًا معطّلة عند التفكيك. ولحل هذه المشكلة، نقترح توزيعًا أوليًا مبنيًا على الطاقة، يُعرف بحاصل ضرب توزيع أولي أساسي وعامل إعادة وزن، مصمم لجعل التوزيع الأساسي أقرب إلى التوزيع التقريبي المجمّع. وندرّب عامل إعادة الوزن باستخدام تقنية التمييز بين الضوضاء (noise contrastive estimation)، ونُعمّم هذه الطريقة على نماذج VAE الهيكلية ذات مجموعات متعددة من المتغيرات الخفية. تؤكد تجاربنا أن التوزيعات الأولية المبنية على التمييز بين الضوضاء التي اقترحناها تُحسّن أداء النماذج التوليدية لـ VAEs المتطورة بشكل كبير على مجموعات بيانات MNIST وCIFAR-10 وCelebA 64 وCelebA HQ 256. ويُعدّ هذا الأسلوب بسيطًا ويمكن تطبيقه على مجموعة واسعة من نماذج VAEs لتحسين قدرة التعبير عن التوزيع الأولي.