HyperAIHyperAI

Command Palette

Search for a command to run...

نماذج الفضاء الحالة الهيكلية السائلة

Ramin Hasani; Mathias Lechner; Tsun-Hsuan Wang; Makram Chahine; Alexander Amini; Daniela Rus

الملخص

التمثيل الصحيح لمصفوفات انتقال الحالة للنماذج الفضائية الخطية (SSMs) متبوعًا باللاخطيّات القياسية يمكّنها من تعلم التمثيلات بكفاءة من البيانات المتتابعة، مما يجعلها تحقق أفضل الأداء في سلسلة طويلة من مقاييس نمذجة المتتابعات الطويلة المدى. في هذا البحث، نظهر أننا يمكن أن نحسن الأداء أكثر عندما تكون النموذج الفضائي البنيوي مثل S4 هو نموذج فضائي خطي بثابت زمني سائل (LTC). الشبكات العصبية ذات الثابت الزمني السائل هي شبكات عصبية مستمرة الزمان وعالية السببية تحتوي على وحدة انتقال حالة تعتمد على الإدخال، مما يجعلها قادرة على التعلم لكي تتكيّف مع المدخلات الواردة أثناء الاستدلال. نوضح أنه من خلال استخدام تحليل القطر الرئيسي بالإضافة إلى التحليل ذي الرتبة المنخفضة لمصفوفة انتقال الحالة التي تم تقديمها في S4، وبعض التبسيطات، فإن النموذج الفضائي البنيوي المستند إلى LTC، الذي أطلق عليه اسم Liquid-S4، يحقق أعلى مستوى جديد من التعميم عبر مهام نمذجة المتتابعات ذات الاعتمادية طويلة الأمد مثل الصور والنصوص والأصوات والسلاسل الزمنية الطبية، بمتوسط أداء يبلغ 87.32% على معيار Long-Range Arena. وفي مجموعة بيانات Speech Command recognition الكاملة والخام، يحقق Liquid-S4 دقةً تبلغ 96.78% مع تخفيض بنسبة 30% في عدد المعلمات مقارنة بـ S4. الزيادة الإضافية في الأداء هي نتيجة مباشرة لهيكل النواة في Liquid-S4 الذي يأخذ بعين الاعتبار تشابه عينات المتتابعات الإدخالية أثناء التدريب والاستدلال.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp