Command Palette
Search for a command to run...
SHOT-VAE: نماذج توليدية عميقة شبه مراقبة مع تقريبات ELBO المعتمدة على التسمية
SHOT-VAE: نماذج توليدية عميقة شبه مراقبة مع تقريبات ELBO المعتمدة على التسمية
Hao-Zhe Feng Kezhi Kong Minghao Chen Tianye Zhang Minfeng Zhu Wei Chen
الملخص
حصلت نماذج التشفير التلقائي المُراقبة جزئيًا (VAEs) على نتائج قوية، لكنها واجهت أيضًا التحدي المتمثل في أن قيم ELBO الجيدة لا تعني دائمًا نتائج استنتاج دقيقة. في هذه الورقة، نستعرض ونُقدّم سببين لهذا المشكلة: (1) لا يمكن لهدف ELBO الاستفادة مباشرة من معلومات التصنيف (الوسوم). (2) يوجد ما يُعرف بـ"عائق القيمة" (bottleneck value)، حيث أن استمرار تحسين ELBO بعد تجاوز هذه القيمة لا يؤدي إلى تحسين دقة الاستنتاج. استنادًا إلى نتائج التجارب، نقترح نموذج SHOT-VAE لمعالجة هذه المشكلات دون الحاجة إلى معرفة مسبقة إضافية. يتميّز SHOT-VAE بمساهمتين رئيسيتين: (1) تقريب جديد لـ ELBO يُسمى smooth-ELBO، يدمج خسارة التنبؤ بالوسوم مباشرة في دالة ELBO. (2) تقريب مبني على التداخل الأمثل (optimal interpolation) الذي يكسر عائق القيمة في ELBO من خلال تقليل الفجوة بين ELBO واحتمال البيانات (data likelihood). حقق نموذج SHOT-VAE أداءً متميزًا، حيث بلغ معدل الخطأ 25.30% على مجموعة CIFAR-100 باستخدام 10,000 عينة مُصنفة، وانخفض معدل الخطأ إلى 6.11% على CIFAR-10 باستخدام 4,000 عينة مُصنفة.