الاستخلاص التلقائي للمعرفة مع تحسين تدريجي للأهداف

تم تحسين قدرة الشبكات العصبية العميقة على التعميم بشكل كبير من خلال تطبيق طيف واسع من أساليب الت régularization، مثل تقييد فضاء الدالة، وإدخال العشوائية أثناء التدريب، وتوسيع البيانات، إلخ. في هذه الدراسة، نقترح طريقة بسيطة ولكن فعالة لـ الت régularization تُسمى "الاستخلاص التدريجي للمعرفة الذاتية" (PS-KD)، التي تُدرّس تدريجيًا المعرفة التي يمتلكها النموذج نفسه لتنعيم الأهداف الصلبة (أي متجهات one-hot) أثناء التدريب. وبالتالي، يمكن تفسيرها ضمن إطار استخلاص المعرفة كأن الطالب يصبح معلمًا لنفسه. وبشكل محدد، يتم تعديل الأهداف تلقائيًا من خلال دمج القيم الحقيقية (ground-truth) مع التنبؤات السابقة التي يُخرِجها النموذج نفسه. ونُظهر أن PS-KD تُحقّق تأثيرًا لاستخلاص الأمثلة الصعبة من خلال إعادة تكييف التدرجات وفقًا لصعوبة تصنيف الأمثلة. وتكمن فائدة هذه الطريقة في إمكانية تطبيقها على أي مهام تعليم مراقبة تمتلك أهدافًا صلبة، ويمكن دمجها بسهولة مع الطرق الحالية لـ الت régularization لتعزيز أداء التعميم بشكل أكبر. علاوة على ذلك، تُثبت النتائج التجريبية أن PS-KD تحقق ليس فقط دقة أعلى، بل أيضًا تقديرات موثوقة للثقة من حيث التصحيح (calibration) وكذلك الترتيب التسلسلي (ordinal ranking). وقد أظهرت النتائج التجريبية الواسعة على ثلاث مهام مختلفة – تصنيف الصور، كشف الكائنات، وترجمة الآلة – أن طريقةنا تُحسّن باستمرار أداء النماذج الأساسية (baselines) المتطورة حاليًا. يُمكن الاطلاع على الكود من خلال الرابط التالي: https://github.com/lgcnsai/PS-KD-Pytorch.