التدريب القوي تحت ضوضاء التسمية من خلال التفاصيل الزائدة

في الآونة الأخيرة، أصبحت الشبكات العميقة المُفرطة التجزئة، التي تمتلك عددًا متزايدًا من المعاملات الشبكية مقارنة بعدد عينات التدريب، هي المهيمنة في أداء التعلم الآلي الحديث. ومع ذلك، عندما تكون بيانات التدريب ملوثة، فمن المعروف جيدًا أن الشبكات المُفرطة التجزئة تميل إلى التكيف الزائد (overfitting) ولا تُعمّم بشكل جيد. في هذا العمل، نقترح منهجًا مُبررًا لتدريب شبكات عميقة مُفرطة التجزئة بشكل مقاوم في مهام التصنيف، حيث تكون نسبة من التسميات التدريبية ملوثة. الفكرة الأساسية بسيطة جدًا: فضلاً عن أن الضوضاء في التسميات تكون نادرة (sparse)، فهي غير متماسكة (incoherent) مع الشبكة التي تم تعلمها من بيانات نظيفة، لذا نُحدِّد نموذجًا للضوضاء ونُدرِّب النموذج على فصلها عن البيانات. بشكل محدد، نُمَثِّل ضوضاء التسميات من خلال مصطلح إضافي مُفرط التجزئة ونادر، ونستفيد من الت régularisations الخفية التي تُولدها الخوارزميات لاسترداد البيانات المُلوثة وفصلها. وبشكل لافت، عند تدريب النموذج باستخدام هذه الطريقة البسيطة عمليًا، نُظهر دقة اختبار متفوقة على مجموعة متنوعة من مجموعات البيانات الحقيقية ضد ضوضاء التسميات. علاوة على ذلك، تدعم النتائج التجريبية نتائج نظرية مبنية على نماذج خطية مبسطة، والتي تُظهر أن الفصل الدقيق بين الضوضاء النادرة والبيانات من الرتبة المنخفضة يمكن تحقيقه تحت شروط عدم التماسك. يفتح هذا العمل العديد من الاتجاهات المثيرة لتحسين النماذج المُفرطة التجزئة باستخدام التجزئة النادرة والتنظيم الخفي.