تعلم الاستنتاج المرتبط باستخدام ذاكرة الأوزان السريعة

يمكن للبشر أن يربطوا بسرعة بين المحفزات لحل المشكلات في سياقات جديدة. يتعلم نموذج الشبكة العصبية الجديد لدينا تمثيلات الحالة للحقائق التي يمكن توليفها لأداء هذا الاستدلال الترابطي. ولتحقيق ذلك، نُعدّل نموذج LSTM بإضافة ذاكرة ترابطية، تُسمى ذاكرة الأوزان السريعة (FWM). من خلال عمليات قابلة للتفاضل في كل خطوة من تسلسل الإدخال المعطى، يقوم LSTM بتحديث وصيانة الارتباطات التوليفية المخزنة في أوزان FWM التي تتغير بسرعة. يتم تدريب نموذجنا بشكل متكامل باستخدام الانحدار التدريجي، ويُظهر أداءً ممتازًا في مسائل الاستدلال اللغوي التوليفي، والتعلم التكراري المعتمد على الميتا-تعلم التفعيل، ونمذجة اللغة على مستوى الكلمات على نطاق صغير.