كيفية تدريب HiPPO: نماذج الفضاء الحالة مع تProjectionات قواعد متعامدة عامة

النماذج الخطية الثابتة الزمنيّة في فضاء الحالة (SSM) هي نموذج كلاسيكي من مجالات الهندسة والإحصاء، وقد أُظهر مؤخرًا أنها واعدة جدًا في مجال التعلم الآلي من خلال نموذج التسلسل المُهيكل في فضاء الحالة (S4). يُشكّل أحد المكونات الأساسية في S4 تهيئة مصفوفة حالة فضاء الحالة إلى مصفوفة معينة تُعرف بمصفوفة HiPPO، والتي أظهرت أهمية تجريبية كبيرة في تمكين S4 من التعامل مع التسلسلات الطويلة. ومع ذلك، فإن المصفوفة المحددة التي يستخدمها S4 تم اشتقاقها سابقًا في أعمال أخرى لنظام ديناميكي متغير زمنيًا معين، ولم يكن هناك تفسير رياضي معروف لاستخدام هذه المصفوفة في نموذج SSM الثابت زمنيًا. ونتيجة لذلك، لا يزال التفسير النظري لآلية نموذج S4 في التعامل مع الاعتماديات طويلة المدى غير مفهومة.نقدّم في هذا العمل صيغة أكثر شمولاً ووضوحًا لإطار HiPPO، التي تقدّم تفسيرًا رياضيًا بسيطًا لنموذج S4 على أنه تحليل إلى متعدّدات حدود لاجندري المُشوهَة أسّيًا، مما يفسّر قدرته على التقاط الاعتماديات الطويلة. كما أن تعميمنا هذا يُقدّم فئة نظرية غنية من نماذج SSM، ويسمح لنا باشتقاق نسخ أكثر وضوحًا من S4 باستخدام قواعد أخرى مثل قاعدة فورييه، كما يفسّر جوانب أخرى من تدريب S4، مثل كيفية تهيئة المعلمة الزمنية المهمة. تُحسّن هذه الرؤى أداء S4 ليصل إلى 86% في معيار Long Range Arena، و96% في المهمة الأصعب Path-X.