MERGE: إنتاج النصوص بسرعة وخصوصية

الزيادة الحادة في معلمات نماذج اللغة أدت إلى ظهور اتجاه جديد يتمثل في نشر هذه النماذج على خوادم السحابة، مما أثار مخاوف متزايدة حول الاستدلال الخصوصي للنماذج المستندة إلى الترانسفورمر. ومع ذلك، فإن التقنيات الحالية لحماية الخصوصية بين طرفين تقتصر فقط على سيناريوهات فهم اللغة الطبيعية (NLU). أما الاستدلال الخصوصي في توليد اللغة الطبيعية (NLG)، وهو أمر حاسم لتطبيقات مثل الترجمة وإكمال الكود، فلا يزال قليل الدراسة. بالإضافة إلى ذلك، تعاني التقنيات السابقة لحماية الخصوصية من مشكلات التقارب أثناء تدريب النموذج وتظهر سرعة استدلال ضعيفة عند استخدامها مع نماذج NLG بسبب إغفال العمليات المستهلكة للوقت في التوليد الذاتي التكيفي. لمعالجة هذه المشكلات، نقترح إطارًا سريعًا لتوليد النص الخاص للنماذج اللغوية المستندة إلى الترانسفورمر، وهو الإطار المعروف بـ MERGE. MERGE يستخدم الحالة المخفية المنبعثة كتمثيل لكلمة لإلغاء حساب التمثيل، ويعيد تنظيم العمليات الخطية في وحدة الترانسفورمر لتسريع الإجراء الأمامي. تُظهر التجارب الواسعة أن MERGE يحقق تسريعًا بمقدار 26.5 مرة للمodel المشفر الأصلي تحت طول المتتابعة 512، ويقلل من تكلفة التواصل بنسبة 80٪، مع تسريع يصل إلى 10 مرات بالنسبة للنماذج التقريبية الأكثر تقدمًا.