HyperAIHyperAI

Command Palette

Search for a command to run...

تحرير التنشيطات الداخلية ذي الوعي بالرمز لتوافق النماذج اللغوية الكبيرة

Tianbo Wang Yuqing Ma Kewei Liao Chengzhao Yang Zhange Zhang Jiakai Wang Xianglong Liu

Abstract

يُعد التدخل في التنشيطات الداخلية لنموذجات اللغة الكبيرة (LLMs) منهجية فعّالة لضبط التوافق أثناء عملية الاستنتاج، مما يساعد في تقليل السلوك غير المرغوب فيه، مثل إنتاج محتوى خاطئ أو ضار، وبالتالي ضمان استخدام آمن وموثوق لنموذجات LLM. ومع ذلك، فإن الطرق السابقة تتجاهل الفجوة في التوافق بين مختلف الرموز (tokens)، ما يؤدي إلى اتجاهات تكيف غير صحيحة وقوة تحرير غير مرنة. ولحل هذه المشكلات، نقترح منهجية تُسمى "تحرير مُدرك للرمز" (TAE)، التي تُوظف بالكامل المعلومات المتعلقة بالتوافق على مستوى الرمز في فضاء التنشيط، مما يُحقق أداءً متفوقًا بعد التدخل. وبشكل محدد، يُنشئ وحدة "تجميع رسم بياني مُوجه بالطاقة المتبادلة" (MIG) أولًا رسمًا بيانيًا مُوجهًا بالطاقة المتبادلة لاستغلال التفاعل المفيد بين الرموز بهدف تحسين التنشيط وتعزيز التحقق من التوافق، وبالتالي تسهيل عملية التدخل. ثم، تُدرك وحدة "التدخل التكيفي المُدرك للفجوة في التوافق" (MAI) بشكل شمولي درجة الفجوة في التوافق على مستوى الرمز من خلال تمثيل الرمز وتوقعه، لتوجيه ضبط قوة التحرير بشكل تكيفي، مما يعزز أداء التوافق النهائي. وقد أظهرت التجارب الواسعة على ثلاث قدرات للتوافق فعالية TAE، حيث تفوقت على النموذج الأساسي بنسبة 25.8% في المقياس الرئيسي لصحة المحتوى، وبتكلفة ضئيلة جدًا.


Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp