ASFormer: Transformer لتقسيم الإجراءات

تُستخدم الخوارزميات المُستخدمة في مهمة تقسيم السلوك عادةً نماذج زمنية للتنبؤ بالفعل الذي يحدث في كل إطار ضمن نشاط يومي يمتد لمدة دقيقة. أظهرت دراسات حديثة الإمكانات الكامنة في نموذج Transformer في نمذجة العلاقات بين العناصر في البيانات التسلسلية. ومع ذلك، توجد عدة مخاوف جوهرية عند تطبيق Transformer مباشرةً على مهمة تقسيم السلوك، مثل نقص التحيزات الاستنتاجية عند استخدام مجموعات تدريب صغيرة، ونقص القدرة على معالجة التسلسلات الطويلة من الإدخال، بالإضافة إلى القيود المفروضة على بنية المُفكِّك (decoder) في الاستفادة من العلاقات الزمنية بين عدة أقسام للسلوك لتحسين التنبؤات الأولية. لمعالجة هذه المخاوف، قمنا بتصميم نموذج مبني على Transformer بكفاءة لمهام تقسيم السلوك، يُسمى ASFormer، يتميز بثلاث خصائص مميزة: (1) نُدخل صراحةً مُسبقات الاتصال المحلي، نظرًا لطبيعة الخصائص ذات الطابع المحلي العالي، مما يحد من فضاء الافتراضات ضمن نطاق موثوق، ويُعد مفيدًا لمهام تقسيم السلوك في تعلم دالة هدف مناسبة باستخدام مجموعات تدريب صغيرة. (2) نطبّق نمطًا تمثيليًا هرميًا مُعرّفًا مسبقًا، مما يسمح بمعالجة فعّالة للسلسلة الطويلة من الإدخال. (3) نصمم المُفكِّك بعناية لتحسين التنبؤات الأولية الناتجة عن المُشفر (encoder). تُظهر التجارب الواسعة على ثلاث مجموعات بيانات عامة فعالية طرقنا. يُمكن الوصول إلى الكود عبر الرابط: \url{https://github.com/ChinaYi/ASFormer}.