HyperAI
منذ 6 أيام

MemOS: نظام ذاكرة للأنظمة الذكية اصطناعياً

Zhiyu Li, Shichao Song, Chenyang Xi, Hanyu Wang, Chen Tang, Simin Niu, Ding Chen, Jiawei Yang, Chunyu Li, Qingchen Yu, Jihao Zhao, Yezhaohui Wang, Peng Liu, Zehao Lin, Pengyuan Wang, Jiahao Huo, Tianyi Chen, Kai Chen, Kehang Li, Zhen Tao, Junpeng Ren, Huayi Lai, Hao Wu, Bo Tang, Zhenren Wang, Zhaoxin Fan, Ningyu Zhang, Linfeng Zhang, Junchi Yan, Mingchuan Yang, Tong Xu, Wei Xu, Huajun Chen, Haofeng Wang, Hongkang Yang, Wentao Zhang, Zhi-Qin John Xu, Siheng Chen, Feiyu Xiong
MemOS: نظام ذاكرة للأنظمة الذكية اصطناعياً
الملخص

لقد أصبحت نماذج اللغات الكبيرة (LLMs) بنية تحتية أساسية للذكاء العام الاصطناعي (AGI)، ومع ذلك فإن عدم وجود أنظمة إدارة ذاكرة محددة بشكل جيد يعيق تطوير الاستدلال في سياقات طويلة، والشخصنة المستمرة، واتساق المعرفة. تعتمد النماذج الحالية بشكل أساسي على المعلمات الثابتة والحالات السياقية قصيرة الأجل، مما يحد من قدرتها على تتبع تفضيلات المستخدم أو تحديث المعرفة لفترات زمنية ممتدة. بينما يقدم التوليد المعزز بالاسترجاع (RAG) معرفة خارجية في شكل نص عادي، فإنه لا يزال حلاً مؤقتًا بدون تحكم في دورة الحياة أو تكامل مع التمثيلات الدائمة.أظهرت الأعمال الحديثة أن نمذجة تكلفة التدريب والاستدلال لنماذج اللغات الكبيرة من وجهة نظر هرم الذاكرة يمكن أن يقلل بشكل كبير من هذه التكاليف عن طريق إخراج المعرفة الخاصة. بالإضافة إلى الكفاءة الحسابية، تواجه نماذج اللغات الكبيرة تحديات أوسع تنبع من كيفية توزيع المعلومات عبر الزمن والسياق، مما يتطلب أنظمة قادرة على إدارة المعرفة غير المتجانسة التي تمتد عبر مقاييس زمنية مختلفة ومصادر متنوعة.لحل هذا التحدي، نقترح MemOS، وهو نظام تشغيل للذاكرة يتعامل مع الذاكرة كموارد نظام قابلة للإدارة. يقوم MemOS بتوحيد تمثيل الجدولة والتطور للذاكرة النصية والذاكرة القائمة على التنشيط والذاكرة على مستوى المعلمات، مما يمكّن من تخزين واسترجاع كفء من حيث التكلفة. كوحدة أساسية، يحتوي MemCube على محتوى الذاكرة وبياناتها الوصفية مثل المصدر والإصدار. يمكن تركيب MemCubes ونقلها ودمجها بمرور الوقت، مما يمكّن من انتقال مرنا بين أنواع الذاكرة ويربط الاسترجاع بالتعلم القائم على المعلمات.يقيم MemOS إطار عمل نظام مركز حول الذاكرة يجلب القابلية للتحكم والمرونة والتطور إلى نماذج اللغات الكبيرة، مما يضع الأساس للتعلم المستمر والنماذج الشخصية.