HyperAIHyperAI

Command Palette

Search for a command to run...

الاستخلاص الذاتي مع التعلم الوظيفي لإكمال مخطط المعرفة

Yunshui Li Junhao Liu Chengming Li Min Yang

الملخص

في هذه الورقة، نقترح إطارًا ذاتيًا للتفتيت يعتمد على التعلم الميتا (MetaSD) لإكمال مخططات المعرفة مع تقطيع ديناميكي، ويهدف إلى تعلم تمثيلات مدمجة لرسوم المعرفة والتعامل مع العينات الطويلة الذيل (long-tail). بشكل خاص، نقترح أولًا تقنية تقطيع ديناميكية للحصول على نموذج مقطوع صغير من نموذج مصدر كبير، حيث يمكن تحديث قناع التقطيع الخاص بالنموذج المقطوع بشكل تكيفي في كل دورة تدريب بعد تحديث أوزان النموذج. يُفترض أن يكون النموذج المقطوع أكثر حساسية تجاه العينات الصعبة في التذكر (مثل العينات الطويلة الذيل) مقارنةً بالنموذج المصدر. ثم نقترح طريقة ذات خطوة واحدة للتفتيت الذاتي الميتا لاستخلاص المعرفة الشاملة من النموذج المصدر إلى النموذج المقطوع، حيث يتطور كلا النموذجين معًا بطريقة ديناميكية أثناء التدريب. وبشكل خاص، نستغل أداء النموذج المقطوع، الذي يُدرّس جنبًا إلى جنب مع النموذج المصدر في دورة واحدة، لتحسين قدرة النموذج المصدر على نقل المعرفة في الدورة التالية من خلال التعلم الميتا. تُظهر التجارب الواسعة أن MetaSD تحقق أداءً تنافسيًا مقارنةً بالأساليب القوية، مع أن حجمها يقل عن النماذج الأخرى بنسبة 10 أضعاف.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
الاستخلاص الذاتي مع التعلم الوظيفي لإكمال مخطط المعرفة | مستندات | HyperAI