الاستخلاص الذاتي مع التعلم الوظيفي لإكمال مخطط المعرفة

في هذه الورقة، نقترح إطارًا ذاتيًا للتفتيت يعتمد على التعلم الميتا (MetaSD) لإكمال مخططات المعرفة مع تقطيع ديناميكي، ويهدف إلى تعلم تمثيلات مدمجة لرسوم المعرفة والتعامل مع العينات الطويلة الذيل (long-tail). بشكل خاص، نقترح أولًا تقنية تقطيع ديناميكية للحصول على نموذج مقطوع صغير من نموذج مصدر كبير، حيث يمكن تحديث قناع التقطيع الخاص بالنموذج المقطوع بشكل تكيفي في كل دورة تدريب بعد تحديث أوزان النموذج. يُفترض أن يكون النموذج المقطوع أكثر حساسية تجاه العينات الصعبة في التذكر (مثل العينات الطويلة الذيل) مقارنةً بالنموذج المصدر. ثم نقترح طريقة ذات خطوة واحدة للتفتيت الذاتي الميتا لاستخلاص المعرفة الشاملة من النموذج المصدر إلى النموذج المقطوع، حيث يتطور كلا النموذجين معًا بطريقة ديناميكية أثناء التدريب. وبشكل خاص، نستغل أداء النموذج المقطوع، الذي يُدرّس جنبًا إلى جنب مع النموذج المصدر في دورة واحدة، لتحسين قدرة النموذج المصدر على نقل المعرفة في الدورة التالية من خلال التعلم الميتا. تُظهر التجارب الواسعة أن MetaSD تحقق أداءً تنافسيًا مقارنةً بالأساليب القوية، مع أن حجمها يقل عن النماذج الأخرى بنسبة 10 أضعاف.