توسيع البيانات غير المشرف عليها لتدريب الاستقرار

التعلم شبه المشرف أظهر مؤخرًا وعودًا كبيرة في تحسين نماذج التعلم العميق عندما تكون البيانات المصنفة نادرة. من بين الأساليب الحديثة، يُشاع استخدام التدريب على الثبات (consistency training) على كمية كبيرة من البيانات غير المصنفة لتقيد توقعات النموذج بأن تكون ثابتة بغض النظر عن الضوضاء في الإدخال. في هذا العمل، نقدم وجهة نظر جديدة حول كيفية تطبيق الضوضاء بكفاءة على الأمثلة غير المصنفة ونؤكد أن جودة إضافة الضوضاء، وبشكل خاص تلك التي تنتجها طرق التعزيز المتقدمة للبيانات، تلعب دورًا حاسمًا في التعلم شبه المشرف. من خلال استبدال عمليات إضافة الضوضاء البسيطة بطرق تعزيز البيانات المتقدمة مثل RandAugment والترجمة العكسية (back-translation)، يحقق نهجنا تحسينات كبيرة عبر ست مهام لغوية وثلاث مهام بصرية ضمن نفس إطار التدريب على الثبات. على مجموعة بيانات تصنيف النصوص IMDb، ومع وجود فقط 20 مثالًا مصنفًا، حقق نهجنا معدل خطأ قدره 4.20، مما يتفوق على النموذج الأكثر تقدمًا الذي تم تدريبه على 25,000 مثال مصنف. وعلى مقاييس الأداء القياسية للتعلم شبه المشرف، CIFAR-10، يتفوق نهجنا على جميع الأساليب السابقة ويحقق معدل خطأ قدره 5.43 مع وجود فقط 250 مثالًا. كما يتم دمج نهجنا بشكل جيد مع التعلم بالنقل (transfer learning)، مثل عند التحسين الدقيق من BERT، ويؤدي إلى تحسينات في نظام البيانات العالي، مثل ImageNet، سواء عند توفر 10% فقط من البيانات المصنفة أو عند استخدام مجموعة كاملة من البيانات المصنفة مع 1.3 مليون مثال غير مصنف إضافي. يمكن الوصول إلى الكود في https://github.com/google-research/uda.