HyperAIHyperAI

Command Palette

Search for a command to run...

HiPPO: الذاكرة المتكررة مع التسجيلات متعددة الحدود المثلى

Albert Gu Tri Dao Stefano Ermon Atri Rudra Christopher Ré

الملخص

مشكلة مركزية في التعلم من البيانات المتسلسلة هي تمثيل التاريخ التراكمي بطريقة تدريجية أثناء معالجة المزيد من البيانات. نقدم إطارًا عامًا (HiPPO) لضغط الإشارات المستمرة والسلسل الزمنية المنفصلة عبر الإسقاط على قواعد متعددة الحدود. بناءً على مقياس يحدد أهمية كل خطوة زمنية في الماضي، ينتج HiPPO حلًا أمثل لمشكلة تقريب الدوال بشكل تدريجي. كحالات خاصة، يوفر إطارنا اشتقاقًا قصيرًا للوحدة الذاكرة الأسطورية الحديثة (Legendre Memory Unit - LMU) من المبادئ الأساسية، ويعمم آلية التحكم الشائعة في الشبكات العصبية المتكررة مثل GRUs. هذا الإطار الرسمي ينتج آلية تحديث ذاكرة جديدة (HiPPO-LegS) تتوسع عبر الزمن لتذكر جميع التاريخ، مما يتجنب الفرضيات حول نطاق الزمن. يتمتع HiPPO-LegS بالفوائد النظرية لمقاومة نطاق الزمن، لتحديثات سريعة، وتدرجات محددة. من خلال دمج ديناميات الذاكرة في الشبكات العصبية المتكررة، يمكن للشبكات العصبية المتكررة HiPPO التقاط الاعتمادية الزمنية المعقدة بشكل تجريبي. على مجموعة بيانات MNIST المرتبة عشوائيًا كمعيار مرجعي، حقق HiPPO-LegS دقة غير مسبوقة بلغت 98.3%. أخيرًا، في مهمة تصنيف المسارات الجديدة التي تختبر مقاومة نطاق الزمن خارج التوزيع وفقدان البيانات، فاقت HiPPO-LegS أدائها أساسيات RNN وODE العصبية بنسبة تتراوح بين 25-40% من الدقة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp