منذ 18 أيام
نُوى GPU للأوزان الكتلية النادرة
{Alec Radford and Diederik P. Kingma, Scott Gray}
الملخص
نُطلق الآن نُواة وحدة معالجة الرسومات (GPU) مُحسَّنة للغاية لفئة مُهملة نسبيًا من هياكل الشبكات العصبية: الشبكات ذات الأوزان الكتلية النادرة (block-sparse weights). تتيح هذه النُواة تقييمًا وتمييزًا فعّالين للطبقات الخطية، بما في ذلك الطبقات التلافيفية (convolutional layers)، مع أنماط نادرة كتلية قابلة للتخصيص بحرية في مصفوفة الأوزان. وجدنا أن هذه النُواة يمكن أن تعمل بسرعة تفوق بكثير أفضل الحلول المتاحة حاليًا، مثل cuBLAS، حسب مستوى الندرة (sparsity). وباستخدام هذه النُواة، نُحسّن الحالة الحالية من التميز في تحليل مشاعر النصوص، وفي النمذجة التوليدية للنصوص والصور. وبإطلاق هذه النُواة مفتوحة المصدر، نهدف إلى دفع عجلة التقدم في تصميم النماذج والخوارزميات.