قيد العمل: التحويلات الخطية لـ TinyML

نُقدِّم نموذج WaveFormer، وهي بنية شبكة عصبية تعتمد على محول الانتباه الخطي، لتوفير استنتاج تسلسلي طويل للأجهزة ذات الحجم الصغير (TinyML). ويحقق WaveFormer دقة جديدة قياسية تبلغ 98.8% و99.1% على مجموعة بيانات التعرف على الكلمات المفتاحية (KWS) من Google Speech V2 بالنسبة لمشاكل ذات 12 و35 فئة، مع استخدام مساحة تخزين للوزن بحجم 130 كيلوبايت فقط، وهو ما يتوافق مع أجهزة وحدة المعالجة الدقيقة (MCU). وتم تحسين الدقة المطلقة الأولى (Top-1) بنسبة 0.1 و0.9 نقطة مئوية، مع تقليل حجم النموذج وعدد العمليات بنسبة 2.5 مرة و4.7 مرة على التوالي مقارنة بالحالة الراهنة. كما نقترح خوارزمية كمّية (quantization) متوافقة مع الأجهزة بمقاييس 8 بت للعدد الصحيح، لعملية الانتباه الخطي، مما يتيح نشرًا فعّالًا على وحدات المعالجة الدقيقة منخفضة التكلفة وذات استهلاك طاقة متناهٍ منخفض دون فقدان في الدقة.