Command Palette
Search for a command to run...
التنظيم العالمي-المحلي من خلال المقاومة التوزيعية
التنظيم العالمي-المحلي من خلال المقاومة التوزيعية
Hoang Phan Trung Le Trung Phung Tuan Anh Bui Nhat Ho Dinh Phung
الملخص
على الرغم من الأداء المتفوق في العديد من الحالات، فإن الشبكات العصبية العميقة غالبًا ما تكون عرضة لل أمثلة مضادة والتغيرات في التوزيع، مما يحد من قدرة النموذج على التعميم في التطبيقات الواقعية. ولتخفيف هذه المشكلات، اعتمد النهج الحديث على تحسين المرونة التوزيعية (DRO) للعثور على التوزيع الأصعب، ثم تقليل دالة الخسارة فوق هذا التوزيع الأصعب. وعلى الرغم من تحقيق بعض التحسن، فإن هذه النماذج المبنية على DRO تمتلك قيودًا واضحة. أولًا، تركز هذه النماذج بشكل حصري على الت régularization المحلية لتعزيز مقاومة النموذج، مما يفقد تأثير الت régularization العالمي الذي يُعد مفيدًا في العديد من التطبيقات الواقعية (مثل التكيف بين المجالات، والعامية بين المجالات، والتعلم الآلي المضاد). ثانيًا، تعمل دوال الخسارة في النماذج الحالية المبنية على DRO فقط على التوزيع الأصعب، مما يؤدي إلى انفصالها عن التوزيع الأصلي، وبالتالي يُحد من قدرة النمذجة. في هذا البحث، نقترح تقنية ت régularization جديدة، مستوحاة من إطار DRO القائم على مقياس واسرستاين. وبشكل خاص، نحدد توزيعًا مشتركًا معينًا ونوعًا من عدم اليقين القائم على واسرستاين، مما يسمح لنا بتوصيل التوزيع الأصلي والتوزيع الأصعب لتعزيز قدرة النمذجة، وتطبيق كل من الت régularization المحلي والعالمي في آنٍ واحد. أظهرت الدراسات التجريبية على مشكلات تعلم مختلفة أن النهج المقترح يتفوق بشكل ملحوظ على النماذج الحالية للت régularization في مجالات متنوعة: التعلم شبه المراقب، والتكيف بين المجالات، والعامية بين المجالات، والتعلم الآلي المضاد.