التنظيم العالمي-المحلي من خلال المقاومة التوزيعية

على الرغم من الأداء المتفوق في العديد من الحالات، فإن الشبكات العصبية العميقة غالبًا ما تكون عرضة لل أمثلة مضادة والتغيرات في التوزيع، مما يحد من قدرة النموذج على التعميم في التطبيقات الواقعية. ولتخفيف هذه المشكلات، اعتمد النهج الحديث على تحسين المرونة التوزيعية (DRO) للعثور على التوزيع الأصعب، ثم تقليل دالة الخسارة فوق هذا التوزيع الأصعب. وعلى الرغم من تحقيق بعض التحسن، فإن هذه النماذج المبنية على DRO تمتلك قيودًا واضحة. أولًا، تركز هذه النماذج بشكل حصري على الت régularization المحلية لتعزيز مقاومة النموذج، مما يفقد تأثير الت régularization العالمي الذي يُعد مفيدًا في العديد من التطبيقات الواقعية (مثل التكيف بين المجالات، والعامية بين المجالات، والتعلم الآلي المضاد). ثانيًا، تعمل دوال الخسارة في النماذج الحالية المبنية على DRO فقط على التوزيع الأصعب، مما يؤدي إلى انفصالها عن التوزيع الأصلي، وبالتالي يُحد من قدرة النمذجة. في هذا البحث، نقترح تقنية ت régularization جديدة، مستوحاة من إطار DRO القائم على مقياس واسرستاين. وبشكل خاص، نحدد توزيعًا مشتركًا معينًا ونوعًا من عدم اليقين القائم على واسرستاين، مما يسمح لنا بتوصيل التوزيع الأصلي والتوزيع الأصعب لتعزيز قدرة النمذجة، وتطبيق كل من الت régularization المحلي والعالمي في آنٍ واحد. أظهرت الدراسات التجريبية على مشكلات تعلم مختلفة أن النهج المقترح يتفوق بشكل ملحوظ على النماذج الحالية للت régularization في مجالات متنوعة: التعلم شبه المراقب، والتكيف بين المجالات، والعامية بين المجالات، والتعلم الآلي المضاد.