تدريب متزامن ضوضائي للتعلم الفعّال تحت ضوضاء التسمية

تُعاني الشبكات العصبية العميقة (DNNs) من صعوبة التعلم بكفاءة في ظل وجود ضوضاء في التسميات، وقد أُظهر أنها تميل إلى حفظ التسميات العشوائية، مما يؤثر سلبًا على أداء التعميم. ننظر إلى عملية التدريب القياسية من منظور منعزل، حيث تُستخدم التسميات المُشفرة بأسلوب one-hot كمصدر وحيد للإشراف، مع غياب الت.REGULARIZATION التي تُقلل من ميل النموذج إلى الحفظ. وعليه، نقترح طريقة تُسمى "التدريب المتزامن الضوضائي" (NCT)، والتي تستفيد من التعلم التعاوني لاستخدام التوافق بين نموذجين كمصدر إضافي للإشراف. علاوةً على ذلك، مستلهمين من التغيرات بين المحاولات في الدماغ، نقترح تقنية ت regularization غير مألوفة تُسمى "تباين الهدف"، والتي تتضمن تغييرًا عشوائيًا لتمثيل التسميات الخاصة بنسبة معينة من عينات التدريب في كل دفعة، بهدف منع الحفظ الزائد والتفاضل الزائد في الشبكات العصبية العميقة. وتطبق هذه التقنية بشكل مستقل على كل نموذج لضمان اختلافهما وتجنب التحيز التأكيدي. وبما أن الشبكات العصبية العميقة تميل إلى التعلم أولاً على الأنماط البسيطة قبل حفظ التسميات الضوضائية، نستخدم خطة تعلم ديناميكية، بحيث تزداد الاعتمادية التدريجية للنماذج على توافقها مع مرور الوقت. كما يزداد تباين الهدف تدريجيًا في NCT لمنع الحفظ في المراحل اللاحقة. ونُظهر فعالية نهجنا على مجموعة متنوعة من مجموعات البيانات الاصطناعية والواقعية التي تحتوي على ضوضاء في التسميات.