HyperAIHyperAI

Command Palette

Search for a command to run...

أحرف تحكم للإدخالات الفعالة من حيث المعلمات في توليد النص

Jordan Clive Kris Cao Marek Rei

الملخص

تُعد طريقة تحسين البادئة (Prefix-tuning) تقنية فعّالة وخفيفة الوزن لتكيف نموذج لغوي مُدرّب مسبقًا كبير مع تطبيق متبع. ومع ذلك، فإنها تستخدم نفس البادئة المُعدّلة على مستوى البيانات لكل الأمثلة في مجموعة البيانات. ونُطِّور هذه الفكرة ونُقدّم طريقة ديناميكية تُسمّى "بادئات التحكم" (Control Prefixes)، التي تتيح دمج معلومات تعتمد على الشرط والمستند إلى المدخلات، مع دمج مزايا تحسين البادئات مع التوليد المُتحكم به. وتُدمج هذه الطريقة تمثيلات قابلة للتعلم على مستوى السمات في طبقات مختلفة لنموذج الترانسفورمر المُدرّب مسبقًا، مما يسمح بتوجيه النص المُولّد في اتجاه معين. ونقدّم تقييمًا منهجيًا للتقنية ونطبّقها على خمس مجموعات بيانات من معيار GEM الخاص بتوليد اللغة الطبيعية (NLG). وعلى الرغم من أن الهدف هو تطوير نموذج فعّال من حيث عدد المعاملات، فإننا نُظهر أن "بادئات التحكم" يمكن أن تتفوّق حتى على طرق التكييف الكامل (full fine-tuning). ونُقدّم نتائج متقدمة على مستوى الحدود في عدة مجموعات بيانات للتحويل من البيانات إلى نص، بما في ذلك WebNLG.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp