HyperAIHyperAI

Command Palette

Search for a command to run...

LayerCake: فك الترميز التبايني المدرك للرموز داخل طبقات النماذج اللغوية الكبيرة

Jingze Zhu Yongliang Wu Wenbo Zhu Jiawang Cao Yanqiang Zheng Jiawei Chen Xu Yang Bernt Schiele Jonas Fischer Xinting Hu

الملخص

النماذج اللغوية الكبيرة (LLMs) تتفوق في فهم وإنتاج اللغة الطبيعية ولكنها تظل عرضة للأخطاء الواقعية، مما يحد من موثوقيتها في المهام التي تتطلب معرفة متعمقة. بينما توفر استراتيجيات التفكيك في وقت التشغيل حلاً واعداً وكفؤًا دون الحاجة إلى التدريب، فإن الطرق الحالية تعالج عادة إشارات المستوى الرمزي والمستوى الطبقي بشكل منفصل، مما يؤدي إلى تجاهل الديناميكيات المشتركة بينهما. في هذا البحث، نقدم طريقة تفكيك تبايني محلي على مستوى الطبقة ووعي بالرمز الذي يربط أنواع الرموز المحددة بطبقاتها الأكثر تأثيرًا في المحول لتحسين إنتاج الحقائق. من خلال تحليل الانتباه التجريبي، نحدد نمطين رئيسيين: يتم استقبال الرموز النحوية باهتمام سائد في الطبقات الأولى، بينما تحكم الرموز المفاهيمية الاستدلال الدلالي في الطبقات الوسطى. عن طريق قمع الانتباه لهذه الأنواع من الرموز عند أعماقها الخاصة بشكل انتقائي، نحقق تحفيز التدهور الوقعي الخاضع للرقابة ونستنتج إشارات تباينية لتوجيه عملية التفكيك الواقعية النهائية. طريقتنا لا تتطلب أي تدريب إضافي أو تعديل في النموذج، وقد أظهرت التجارب أن طريقتنا تحسن الحقائق بشكل مستمر عبر العديد من النماذج اللغوية الكبيرة ومختلف المقاييس (benchmarks).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp