SqueezeBERT: ما الذي يمكن لعلم الحاسوب أن يعلّم نظم المعالجة اللغوية الطبيعية حول الشبكات العصبية الفعّالة؟

يقرأ البشر وينشئون مئات المليارات من الرسائل يوميًا. علاوة على ذلك، وبفضل توفر مجموعات بيانات ضخمة وأنظمة حوسبة قوية ونماذج شبكات عصبية متطورة، تقدم تقنية معالجة اللغة الطبيعية (NLP) تقدمًا كبيرًا في فهم النصوص، وتصحيح الأخطاء الإملائية، وتنظيمها. وبالتالي، توجد فرصة كبيرة لتطبيق تقنية NLP في العديد من التطبيقات لمساعدة المستخدمين على الويب، والشبكات الاجتماعية، والشركات. وبشكل خاص، ننظر إلى الهواتف الذكية والأجهزة المحمولة الأخرى كمنصات حاسمة لتطبيق نماذج NLP على نطاق واسع. لكن النماذج الحالية للشبكات العصبية في NLP، مثل BERT وRoBERTa، التي تتميز بدقة عالية، تكون مكلفة للغاية من حيث الحوسبة، حيث تستغرق نسخة BERT-base 1.7 ثانية لتصنيف عبارة نصية على هاتف Pixel 3. في هذا العمل، نلاحظ أن أساليب مثل التحويلات المجمعة (grouped convolutions) قد أتاحت تسريعًا كبيرًا في شبكات الرؤية الحاسوبية، لكن العديد من هذه التقنيات لم تُعتمد بعد من قبل مصممي الشبكات العصبية في مجال NLP. نُظهر كيف يمكن استبدال عدة عمليات في طبقات الانتباه الذاتي (self-attention) بتحويلات مجمعة، ونستخدم هذه التقنية في بنية شبكة جديدة تُسمى SqueezeBERT، التي تعمل بسرعة 4.3 مرة أسرع من BERT-base على هاتف Pixel 3، مع تحقيق دقة تنافسية على مجموعة اختبار GLUE. وسيتم إصدار كود SqueezeBERT.