أحرف تحكم للإدخالات الفعالة من حيث المعلمات في توليد النص

تُعد طريقة تحسين البادئة (Prefix-tuning) تقنية فعّالة وخفيفة الوزن لتكيف نموذج لغوي مُدرّب مسبقًا كبير مع تطبيق متبع. ومع ذلك، فإنها تستخدم نفس البادئة المُعدّلة على مستوى البيانات لكل الأمثلة في مجموعة البيانات. ونُطِّور هذه الفكرة ونُقدّم طريقة ديناميكية تُسمّى "بادئات التحكم" (Control Prefixes)، التي تتيح دمج معلومات تعتمد على الشرط والمستند إلى المدخلات، مع دمج مزايا تحسين البادئات مع التوليد المُتحكم به. وتُدمج هذه الطريقة تمثيلات قابلة للتعلم على مستوى السمات في طبقات مختلفة لنموذج الترانسفورمر المُدرّب مسبقًا، مما يسمح بتوجيه النص المُولّد في اتجاه معين. ونقدّم تقييمًا منهجيًا للتقنية ونطبّقها على خمس مجموعات بيانات من معيار GEM الخاص بتوليد اللغة الطبيعية (NLG). وعلى الرغم من أن الهدف هو تطوير نموذج فعّال من حيث عدد المعاملات، فإننا نُظهر أن "بادئات التحكم" يمكن أن تتفوّق حتى على طرق التكييف الكامل (full fine-tuning). ونُقدّم نتائج متقدمة على مستوى الحدود في عدة مجموعات بيانات للتحويل من البيانات إلى نص، بما في ذلك WebNLG.