HyperAIHyperAI
منذ 2 أشهر

مانيفولد ميكساب: تمثيلات أفضل من خلال تداخل الحالة المخفية

Vikas Verma; Alex Lamb; Christopher Beckham; Amir Najafi; Ioannis Mitliagkas; Aaron Courville; David Lopez-Paz; Yoshua Bengio
مانيفولد ميكساب: تمثيلات أفضل من خلال تداخل الحالة المخفية
الملخص

الشبكات العصبية العميقة تتفوق في تعلم بيانات التدريب، لكنها غالباً ما توفر توقعات خاطئة وواثقة عند تقييمها على أمثلة اختبار مختلفة قليلاً. وهذا يشمل التحولات التوزيعية، والقيم الشاذة، والأمثلة المعادية. لمعالجة هذه القضايا، نقترح تقنية Manifold Mixup (مزيج متعدد الأسطح)، وهي مُعَدِّل بسيط يشجع الشبكات العصبية على تقديم توقعات أقل ثقة على استكمالات التمثيلات الخفية. تعتمد تقنية Manifold Mixup على الاستكمالات الدلالية كإشارة تدريب إضافية، مما يؤدي إلى الحصول على شبكات عصبية ذات حدود قرار أكثر سلاسة على مستويات متعددة من التمثيل. نتيجة لذلك، تقوم الشبكات العصبية التي تم تدريبها باستخدام Manifold Mixup بتعلم تمثيلات الفئات مع اتجاهات أقل للتباين. نثبت النظرية حول سبب حدوث هذا التسطيح تحت الظروف المثالية، نتحقق منها في الحالات العملية، ونربطها بالأعمال السابقة في نظرية المعلومات والتعميم. رغم عدم تعرضها لحسابات كبيرة ومع تنفيذها في بضع سطور من الكود، فإن تقنية Manifold Mixup تحسن النماذج الأساسية القوية في التعلم الإشرافي، والمتانة ضد الهجمات المعادية ذات الخطوة الواحدة، واحتمالية السجل للبيانات الاختبارية.

مانيفولد ميكساب: تمثيلات أفضل من خلال تداخل الحالة المخفية | أحدث الأوراق البحثية | HyperAI