Command Palette
Search for a command to run...
التدريب المعادي الافتراضي: طريقة تنظيمية للتعلم الإشرافي والتعلم شبه الإشرافي
التدريب المعادي الافتراضي: طريقة تنظيمية للتعلم الإشرافي والتعلم شبه الإشرافي
Takeru Miyato Shin-ichi Maeda Masanori Koyama Shin Ishii
الملخص
نقترح طريقة تسوية جديدة تعتمد على الخسارة المعادية الافتراضية: وهي مقياس جديد لسلاسة التوزيع الشرطي للتصنيف معطى المدخلات. تعريف الخسارة المعادية الافتراضية يعتمد على متانة التوزيع الشرطي للتصنيف حول كل نقطة بيانات ضد الإخلال المحلي. بخلاف التدريب المعادي، فإن طرقتنا تحدد الاتجاه المعادي دون الحاجة لمعلومات التصنيف، وبالتالي يمكن تطبيقها في التعلم شبه المشرف. نظرًا لأن الاتجاهات التي نوسع فيها النموذج هي فقط "افتراضية" معادية، فقد أطلقنا على طريقتنا اسم التدريب المعادي الافتراضي (VAT). تكلفة الحساب لـ VAT نسبية منخفضة. بالنسبة للشبكات العصبية، يمكن حساب تقدير التدرج للخسارة المعادية الافتراضية بأقل من زوجين من عمليات الأمام والخلف (forward- و back-propagations). في تجاربنا، قمنا بتطبيق VAT على مهام التعلم المشرف وشبه المشرف باستخدام عدة مجموعات بيانات معيارية. وبفضل تعزيز بسيط للخوارزمية يستند إلى مبدأ تقليل الإنتروبيا، حقق VAT أداءً رائدًا في مهام التعلم شبه المشرف على SVHN وCIFAR-10.