هل نماذج ImageNet المقاومة للتأثيرات الخبيثة تنتقل بشكل أفضل؟

التعلم الناقل هو منهجية شائعة في التعلم العميق، حيث يمكن تكييف النماذج المُدرَّبة مسبقًا على مجموعات بيانات قياسية بشكل فعّال لمهام متعددة لاحقة. عادةً، كلما كانت النماذج المُدرَّبة مسبقًا أفضل، كانت نتائج التعلم الناقل أفضل أيضًا، مما يشير إلى أن الدقة الابتدائية تمثل جانبًا أساسيًا في أداء التعلم الناقل. في هذا العمل، نحدد جانبًا آخر من هذا القبيل: فنحن نلاحظ أن النماذج المُقاومة للهجمات العدوانية، رغم أنها أقل دقة، فإنها غالبًا ما تُظهر أداءً أفضل من نماذج التدريب القياسي عند استخدامها في التعلم الناقل. وبشكل خاص، نركز على فئّات صور ImageNet المقاومة للهجمات العدوانية، ونُظهر أن هذه النماذج تُحسّن الدقة على مجموعة قياسية من مهام التصنيف اللاحقة. كما كشفت تحليلات إضافية عن فروقات أكثر بين النماذج المقاومة والنموذج القياسي في سياق التعلم الناقل. وتماشيًا مع فرضيات حديثة تفيد بأن المقاومة تؤدي إلى تمثيلات مميزة محسّنة، فإن نتائجنا تدعم هذه الفرضيات (وحتى تُضيف إليها). يُمكن الوصول إلى الكود والنماذج المستخدمة في هذا العمل عبر الرابط التالي: https://github.com/Microsoft/robust-models-transfer.