HiPPO: الذاكرة المتكررة مع التسجيلات متعددة الحدود المثلى

مشكلة مركزية في التعلم من البيانات المتسلسلة هي تمثيل التاريخ التراكمي بطريقة تدريجية أثناء معالجة المزيد من البيانات. نقدم إطارًا عامًا (HiPPO) لضغط الإشارات المستمرة والسلسل الزمنية المنفصلة عبر الإسقاط على قواعد متعددة الحدود. بناءً على مقياس يحدد أهمية كل خطوة زمنية في الماضي، ينتج HiPPO حلًا أمثل لمشكلة تقريب الدوال بشكل تدريجي. كحالات خاصة، يوفر إطارنا اشتقاقًا قصيرًا للوحدة الذاكرة الأسطورية الحديثة (Legendre Memory Unit - LMU) من المبادئ الأساسية، ويعمم آلية التحكم الشائعة في الشبكات العصبية المتكررة مثل GRUs. هذا الإطار الرسمي ينتج آلية تحديث ذاكرة جديدة (HiPPO-LegS) تتوسع عبر الزمن لتذكر جميع التاريخ، مما يتجنب الفرضيات حول نطاق الزمن. يتمتع HiPPO-LegS بالفوائد النظرية لمقاومة نطاق الزمن، لتحديثات سريعة، وتدرجات محددة. من خلال دمج ديناميات الذاكرة في الشبكات العصبية المتكررة، يمكن للشبكات العصبية المتكررة HiPPO التقاط الاعتمادية الزمنية المعقدة بشكل تجريبي. على مجموعة بيانات MNIST المرتبة عشوائيًا كمعيار مرجعي، حقق HiPPO-LegS دقة غير مسبوقة بلغت 98.3%. أخيرًا، في مهمة تصنيف المسارات الجديدة التي تختبر مقاومة نطاق الزمن خارج التوزيع وفقدان البيانات، فاقت HiPPO-LegS أدائها أساسيات RNN وODE العصبية بنسبة تتراوح بين 25-40% من الدقة.