Command Palette
Search for a command to run...
نُوى GPU للأوزان الكتلية النادرة
نُوى GPU للأوزان الكتلية النادرة
Alec Radford and Diederik P. Kingma Scott Gray
الملخص
نُطلق الآن نُواة وحدة معالجة الرسومات (GPU) مُحسَّنة للغاية لفئة مُهملة نسبيًا من هياكل الشبكات العصبية: الشبكات ذات الأوزان الكتلية النادرة (block-sparse weights). تتيح هذه النُواة تقييمًا وتمييزًا فعّالين للطبقات الخطية، بما في ذلك الطبقات التلافيفية (convolutional layers)، مع أنماط نادرة كتلية قابلة للتخصيص بحرية في مصفوفة الأوزان. وجدنا أن هذه النُواة يمكن أن تعمل بسرعة تفوق بكثير أفضل الحلول المتاحة حاليًا، مثل cuBLAS، حسب مستوى الندرة (sparsity). وباستخدام هذه النُواة، نُحسّن الحالة الحالية من التميز في تحليل مشاعر النصوص، وفي النمذجة التوليدية للنصوص والصور. وبإطلاق هذه النُواة مفتوحة المصدر، نهدف إلى دفع عجلة التقدم في تصميم النماذج والخوارزميات.