HyperAIHyperAI

Command Palette

Search for a command to run...

كيفية تدريب HiPPO: نماذج الفضاء الحالة مع تProjectionات قواعد متعامدة عامة

Albert Gu Isys Johnson Aman Timalsina Atri Rudra Christopher Ré

الملخص

النماذج الخطية الثابتة الزمنيّة في فضاء الحالة (SSM) هي نموذج كلاسيكي من مجالات الهندسة والإحصاء، وقد أُظهر مؤخرًا أنها واعدة جدًا في مجال التعلم الآلي من خلال نموذج التسلسل المُهيكل في فضاء الحالة (S4). يُشكّل أحد المكونات الأساسية في S4 تهيئة مصفوفة حالة فضاء الحالة إلى مصفوفة معينة تُعرف بمصفوفة HiPPO، والتي أظهرت أهمية تجريبية كبيرة في تمكين S4 من التعامل مع التسلسلات الطويلة. ومع ذلك، فإن المصفوفة المحددة التي يستخدمها S4 تم اشتقاقها سابقًا في أعمال أخرى لنظام ديناميكي متغير زمنيًا معين، ولم يكن هناك تفسير رياضي معروف لاستخدام هذه المصفوفة في نموذج SSM الثابت زمنيًا. ونتيجة لذلك، لا يزال التفسير النظري لآلية نموذج S4 في التعامل مع الاعتماديات طويلة المدى غير مفهومة.نقدّم في هذا العمل صيغة أكثر شمولاً ووضوحًا لإطار HiPPO، التي تقدّم تفسيرًا رياضيًا بسيطًا لنموذج S4 على أنه تحليل إلى متعدّدات حدود لاجندري المُشوهَة أسّيًا، مما يفسّر قدرته على التقاط الاعتماديات الطويلة. كما أن تعميمنا هذا يُقدّم فئة نظرية غنية من نماذج SSM، ويسمح لنا باشتقاق نسخ أكثر وضوحًا من S4 باستخدام قواعد أخرى مثل قاعدة فورييه، كما يفسّر جوانب أخرى من تدريب S4، مثل كيفية تهيئة المعلمة الزمنية المهمة. تُحسّن هذه الرؤى أداء S4 ليصل إلى 86% في معيار Long Range Arena، و96% في المهمة الأصعب Path-X.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
كيفية تدريب HiPPO: نماذج الفضاء الحالة مع تProjectionات قواعد متعامدة عامة | مستندات | HyperAI