تعلم الارتباطات طويلة المدى في سلاسل زمنية غير منتظمة العيّنات

الشبكات العصبية المتكررة (RNNs) ذات الحالة المستترة المستمرة زمنيًا هي مطابقة طبيعية لنمذجة السلاسل الزمنية غير المنتظمة العينة. ومع ذلك، تواجه هذه النماذج صعوبات عندما تكون البيانات الإدخالية تحتوي على اعتمادات طويلة الأجل. نثبت أن السبب الأساسي لهذه المشكلة مشابه للشبكات العصبية المتكررة القياسية، وهو اختفاء أو زيادة التدرج خلال التدريب. يُعبر عن هذا الظاهرة من خلال تمثيل المعادلة التفاضلية العادية (ODE) للحالة المستترة، بغض النظر عن اختيار حل المعادلة التفاضلية العادية. نقدم حلاً من خلال تصميم خوارزمية جديدة تعتمد على ذاكرة المدى القصير والمدى الطويل (LSTM) التي تفصل ذاكرتها عن حالاتها المستمرة زمنيًا. بهذه الطريقة، نقوم بتشفير تدفق ديناميكي مستمر زمنيًا داخل الشبكة العصبية المتكررة، مما يسمح لها بالاستجابة للمدخلات الواردة في فواصل زمنية عشوائية مع ضمان انتشار خطأ ثابت عبر المسار الذاكري. نطلق على هذه النماذج من الشبكات العصبية المتكررة اسم ODE-LSTMs. نظهر تجريبيًا أن ODE-LSTMs تتفوق على النماذج المكافئة المعتمدة على الشبكات العصبية المتكررة المتطورة في البيانات غير المنتظمة العينة والمعتمدة على المدى الطويل. يمكن الحصول على جميع الكود والبيانات من https://github.com/mlech26l/ode-lstms.