شبكات الترليس للنمذجة التسلسلية

نقدم شبكات الترليس، وهي هندسة معمارية جديدة لنمذجة المتتاليات. من ناحية، تعتبر شبكة الترليس نوعًا خاصًا من الشبكات التلافيفية الزمنية، والتي تتميز بربط الأوزان عبر العمق وحقن المدخل مباشرة في الطبقات العميقة. ومن ناحية أخرى، نوضح أن الشبكات المتكررة المقطوعة تعادل شبكات الترليس ذات البنية النادرة الخاصة في مصفوفات الأوزان لديها. وبالتالي، فإن شبكات الترليس ذات المصفوفات الوزنية العامة تعمم الشبكات المتكررة المقطوعة. نستفيد من هذه الارتباطات لتصميم شبكات ترليس عالية الأداء التي تستوعب العناصر البنيوية والخوارزمية من كل من النماذج المتكررة والتلافيفية. تظهر التجارب أن شبكات الترليس تتفوق على الأساليب الرائدة حاليًا في مجموعة متنوعة من المقاييس الصعبة، بما في ذلك مهام نمذجة اللغة على مستوى الكلمات ومستوى الحروف، واختبارات الضغط المصممة لتقييم الذاكرة طويلة الأمد. يمكن الوصول إلى الكود في https://github.com/locuslab/trellisnet .