نمذجة التسلسلات التلافيفية إعادة النظر فيها

تُعيد هذه الورقة النظر في مشكلة نمذجة التسلسل باستخدام الهياكل التلافيفية. وعلى الرغم من أن كلًا من الهياكل التلافيفية والهياكل المتكررة تتمتع بسجل طويل في التنبؤ بالتسلسلات، فإن النظرة السائدة حاليًا في كثير من مجتمعات التعلم العميق تُشير إلى أن نمذجة التسلسلات العامة تُدار بشكل أفضل باستخدام الشبكات المتكررة. ويهدف هذا البحث إلى التساؤل حول هذا الافتراض. وبشكل خاص، نُقدّم شبكة تلافيفية زمنية عامة بسيطة (TCN)، والتي تستخدم خصائص من الهياكل التلافيفية الحديثة مثل التمدد (dilations) والاتصالات المتبقية (residual connections). ونُظهر أن في مجموعة متنوعة من مهام نمذجة التسلسل، بما في ذلك العديد من المهام التي تُستخدم غالبًا كمعيار مقارنة لتقييم الشبكات المتكررة، تتفوق شبكة TCN على الطرق الأساسية القائمة على الشبكات المتكررة (مثل LSTMs وGRUs والشبكات المتكررة العادية)، وأحيانًا حتى على النماذج المتخصصة للغاية. كما نُبين أن الميزة النظرية "الذاكرة اللانهائية" التي يُفترض أن تمتلكها الشبكات المتكررة على حساب الشبكات التلافيفية تُظهر تأثيرًا ضعيفًا في التطبيق العملي: ففي الواقع، تُظهر شبكات TCN حجم تاريخ فعّال أطول مقارنة بنسخها المتكررة. وبشكل عام، ندعو إلى إعادة النظر في إمكانية اعتبار الهياكل التلافيفية (ConvNets) كمُهندسٍ افتراضي "مفضل" لمهام نمذجة التسلسل.