HyperAIHyperAI

Command Palette

Search for a command to run...

بانيني: التعلم المستمر في فضاء الرموز من خلال الذاكرة الهيكلية

Shreyas Rajesh Pavan Holur Mehmet Yigit Turali Chenda Duan Vwani Roychowdhury

الملخص

تُستخدم نماذج اللغة بشكل متزايد للاستنتاج حول محتوى لم تُدرَّس عليه، مثل المستندات الجديدة، والمعرفة المتغيرة، وبيانات مخصصة للمستخدم. إحدى الطرق الشائعة هي التوليد المدعوم بالاسترجاع (RAG)، حيث يتم تخزين المستندات الحرفية خارجيًا (كقطع صغيرة) واسترجاع جزء محدد فقط مناسب عند الاستدلال من قبل نموذج لغة كبير (LLM) للتفكير فيه. ومع ذلك، يؤدي هذا إلى استخدام غير فعّال للموارد الحسابية أثناء الاختبار (حيث يُجبر LLM على التفكير مرارًا في نفس المستندات)، بالإضافة إلى أن استرجاع القطع قد يؤدي إلى إدخال سياق غير ذي صلة، مما يزيد من احتمالية إنتاج إجابات غير مدعومة. نقترح إطارًا تعلمًا مستمرًا غير بارامترية يشبه الطريقة البشرية، حيث يبقى النموذج الأساسي ثابتًا، ويحدث التعلم من خلال دمج كل تجربة جديدة في حالة ذاكرة شمولية خارجية تتكاثر وتنضج باستمرار. نقدّم "بانيني" (Panini)، الذي يُطبّق هذا المفهوم من خلال تمثيل المستندات كمساحات عمل شمولية توليدية (GSW) – وهي شبكة من أزواج أسئلة وأجوبة مُحَسّسة بالكيانات والأحداث، كافية لتمكين نموذج اللغة من إعادة بناء الحالات المُختبرة واستخلاص المعرفة الضمنية من خلال سلاسل استدلال مبنية على التفكير داخل الشبكة. عند تلقي استفسار، تقوم "بانيني" بتمرير الشبكة المستمرة التحديث (وليس المستندات الحرفية أو القطع)، واسترجاع سلاسل الاستدلال الأكثر احتمالًا. وفي ستة معايير لاختبار الأسئلة والأجوبة، حققت "بانيني" أعلى أداء متوسط، بزيادة 5% إلى 7% مقارنةً بالأساليب التنافسية الأخرى، مع استخدام 2 إلى 30 مرة أقل من رموز السياق المرتبطة بالإجابة، وتدعم سيرًا مفتوحة المصدر بالكامل، وتقلل من عدد الإجابات غير المدعومة في الاستفسارات المُعدّة مسبقًا والتي لا يمكن الإجابة عنها. تُظهر النتائج أن التهيئَة الفعّالة والدقيقة للتجارب أثناء الكتابة – كما يحقّقها إطار GSW – تُحدث مكاسب في الكفاءة والموثوقية أثناء القراءة. الكود متاح على: https://github.com/roychowdhuryresearch/gsw-memory.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp