HyperAIHyperAI

Command Palette

Search for a command to run...

دمج النماذج المتكررة والمتلافهة والمستمرة في الزمن مع طبقات الفضاء الحالة الخطية

Albert Gu; Isys Johnson; Karan Goel; Khaled Saab; Tri Dao; Atri Rudra; Christopher Ré

الملخص

الشبكات العصبية المتكررة (RNNs)، والتشابك الزمني، والمعادلات التفاضلية العصبية (NDEs) هي عائلات شائعة من نماذج التعلم العميق للبيانات السلسلية الزمنية، ولكل منها قواه الفريدة ومزاياه وتنازلاته في قوة النمذجة وكفاءة الحوسبة. نقدم نموذج سلسلة بسيط مستوحى من أنظمة التحكم يعمم هذه الأساليب مع معالجة نقاط ضعفها. تقوم طبقة الحالة المكانية الخطية (LSSL) بخريطة تسلسل uyu \mapsto yuy من خلال محاكاة تمثيل حالة مكانية مستمر بالزمن ببساطة x˙=Ax+Bu,y=Cx+Du\dot{x} = Ax + Bu, y = Cx + Dux˙=Ax+Bu,y=Cx+Du. نظرياً، نوضح أن نماذج LSSL ترتبط ارتباطاً وثيقاً بالعائلات الثلاث المذكورة أعلاه وتورث قواها. على سبيل المثال، فإنها تعمم التشابكات إلى الزمن المستمر، وتفسر الاجتهادات الشائعة لـ RNN، وتشارك في خصائص NDEs مثل تكيف مقياس الزمن. ثم ندمج ونعمم النظرية الحديثة حول الذاكرة المستمرة الزمنياً لتقديم مجموعة قابلة للتدريب من المصفوفات المنظمة AAA التي تعطي LSSL ذاكرة بعيدة المدى. عملياً، فإن تجميع طبقات LSSL في شبكة عصبية عميقة بسيطة يحقق أفضل النتائج عبر مقاييس البيانات السلسلية الزمنية للاعتمادات الطويلة في تصنيف الصور المتسلسلة، ومهمات الانحدار الصحية الحقيقية، والكلام. في مهمة تصنيف الكلام الصعبة ذات التسلسلات الطولية 16000، يتفوق LSSL على الأساليب السابقة بمقدار 24 نقطة دقة، وحتى على القواعد الأساسية التي تستعمل الخصائص المصاغة يدوياً في تسلسلات أقصر بمئة مرة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp