HyperAIHyperAI
منذ 2 أشهر

استخدام التعلم الذاتي بدون إشراف يمكن أن يحسن صلابة النموذج وتحديد عدم اليقين

Dan Hendrycks; Mantas Mazeika; Saurav Kadavath; Dawn Song
استخدام التعلم الذاتي بدون إشراف يمكن أن يحسن صلابة النموذج وتحديد عدم اليقين
الملخص

الإشراف الذاتي يوفر تمثيلات فعالة للمهام اللاحقة دون الحاجة إلى تسميات. ومع ذلك، فإن الأساليب الحالية تتأخر عن التدريب المشرف عليه بالكامل، وغالبًا ما لا يُنظر إليها على أنها مفيدة إلا في تجنب أو تقليل الحاجة إلى التسميات. لقد اكتشفنا أن الإشراف الذاتي يمكن أن يفيد المتانة بطرق مختلفة، بما في ذلك المتانة ضد الأمثلة المعادية (adversarial examples)، تلف التسميات (label corruption)، والتشوهات الشائعة في المدخلات (common input corruptions). بالإضافة إلى ذلك، فإن الإشراف الذاتي يفيد بشكل كبير الكشف عن البيانات خارج التوزيع في الحالات الصعبة التي تكون قريبة من التوزيع الأصلي (near-distribution outliers)، لدرجة أنه يتفوق على أداء الأساليب المشرف عليها بالكامل. هذه النتائج تظهر الوعد الذي يحمله الإشراف الذاتي لتحسين المتانة وتقييم عدم اليقين، وتحدد هذه المهام كمحاور جديدة للتقييم في أبحاث التعلم بالإشراف الذاتي المستقبلية.

استخدام التعلم الذاتي بدون إشراف يمكن أن يحسن صلابة النموذج وتحديد عدم اليقين | أحدث الأوراق البحثية | HyperAI