نماذج الفضاء الحالة الهيكلية السائلة

التمثيل الصحيح لمصفوفات انتقال الحالة للنماذج الفضائية الخطية (SSMs) متبوعًا باللاخطيّات القياسية يمكّنها من تعلم التمثيلات بكفاءة من البيانات المتتابعة، مما يجعلها تحقق أفضل الأداء في سلسلة طويلة من مقاييس نمذجة المتتابعات الطويلة المدى. في هذا البحث، نظهر أننا يمكن أن نحسن الأداء أكثر عندما تكون النموذج الفضائي البنيوي مثل S4 هو نموذج فضائي خطي بثابت زمني سائل (LTC). الشبكات العصبية ذات الثابت الزمني السائل هي شبكات عصبية مستمرة الزمان وعالية السببية تحتوي على وحدة انتقال حالة تعتمد على الإدخال، مما يجعلها قادرة على التعلم لكي تتكيّف مع المدخلات الواردة أثناء الاستدلال. نوضح أنه من خلال استخدام تحليل القطر الرئيسي بالإضافة إلى التحليل ذي الرتبة المنخفضة لمصفوفة انتقال الحالة التي تم تقديمها في S4، وبعض التبسيطات، فإن النموذج الفضائي البنيوي المستند إلى LTC، الذي أطلق عليه اسم Liquid-S4، يحقق أعلى مستوى جديد من التعميم عبر مهام نمذجة المتتابعات ذات الاعتمادية طويلة الأمد مثل الصور والنصوص والأصوات والسلاسل الزمنية الطبية، بمتوسط أداء يبلغ 87.32% على معيار Long-Range Arena. وفي مجموعة بيانات Speech Command recognition الكاملة والخام، يحقق Liquid-S4 دقةً تبلغ 96.78% مع تخفيض بنسبة 30% في عدد المعلمات مقارنة بـ S4. الزيادة الإضافية في الأداء هي نتيجة مباشرة لهيكل النواة في Liquid-S4 الذي يأخذ بعين الاعتبار تشابه عينات المتتابعات الإدخالية أثناء التدريب والاستدلال.