PixelCNN++: تحسين PixelCNN باستخدام احتمالية مزيج اللوجستي المجزأ وتعديلات أخرى

النماذج الجينيراتيفية PixelCNN هي فئة من النماذج القوية التي تم اقتراحها مؤخرًا والتي تتميز بإمكانية حساب الاحتمالية (tractable likelihood). في هذا المقال، نناقش تنفيذنا للنماذج PixelCNN الذي نوفره على الرابط https://github.com/openai/pixel-cnn. يحتوي تنفيذنا على عدد من التعديلات على النموذج الأصلي التي تبسط هيكله وتحسن أدائه:1) نستخدم احتمالية مزيج اللوجستي المنفصلة (discretized logistic mixture likelihood) على البكسلات بدلاً من التوزيع الليني ذو 256 طريقة (256-way softmax)، مما نجد أنه يسرع عملية التدريب.2) نقوم بتكييف النموذج على البكسلات الكاملة بدلاً من البكسلات الفرعية الحمراء/الخضراء/الزرقاء (R/G/B sub-pixels)، مما يبسط بنية النموذج.3) نستخدم التقسيم إلى مستويات أدنى (downsampling) لالتقاط الهياكل بفعالية عند حلول متعددة.4) نقدم روابط قصيرة إضافية (short-cut connections) لتسريع التحسين.5) نقوم بتنظيم النموذج باستخدام الإفلات العشوائي (dropout).أخيرًا، نقدم نتائج الاحتمالية اللوغاريتمية الأحدث على مجموعة بيانات CIFAR-10 لإثبات فائدة هذه التعديلات.