نمذجة التسلسل باستخدام الذاكرة الشعاعية متعددة الدقة

التقاط الأنماط طويلة المدى في مصادر البيانات التسلسلية بشكل فعال، والتي تكون ذات أهمية للمهام مثل التصنيف والنمذجة الجينيراتيفية، يمثل تحديًا أساسيًا. تتجه الأساليب الشائعة إلى التوفيق بين عبء الذاكرة الناتج عن التعداد والمقارنة القسريين، كما هو الحال في نماذج الترانسفورمرز، وعبء الحسابات الناتج عن الارتباطات التسلسلية المعقدة، كما هو الحال في الشبكات العصبية المتكررة، أو عبء المعلمات الناتج عن الشبكات الإدراكية التي تحتوي على مرشحات كثيرة أو كبيرة. بدلاً من ذلك، نستلهم من تحليل الموجيات متعدد الدقة لتعريف مكون جديد للنمذجة التسلسلية، والذي نسميه طبقة متعددة الدقة (MultiresLayer). المكون الرئيسي في نموذجنا هو الإدراك متعدد الدقة (multiresolution convolution)، الذي يلتقط الاتجاهات متعددة المقاييس في المتتالية الإدخال. يمكن تنفيذ إدراكنا متعدد الدقة (MultiresConv) باستخدام مرشحات مشتركة عبر شجرة إدراك سببي متمدد. وهكذا，则它结合了卷积网络的计算优势和小波分解的理论依据。我们的多分辨率层实现简单，参数显著减少，并且对于长度为 $N$ 的序列，其内存占用最多为 $\mathcal{O}(N\log N)$。然而，通过堆叠这些层，我们的模型在使用 CIFAR-10、ListOps 和 PTB-XL 数据集进行的一系列序列分类和自回归密度估计任务中达到了最先进的性能。为了使最后一段更加流畅并符合阿拉伯语表达习惯，以下是优化后的版本：ومع ذلك، فإن طبقتنا متعددة الدقة سهلة التنفيذ وتتطلب عددًا أقل بكثير من المعلمات، وتحافظ على أن يكون حجم الذاكرة المستخدم لا يتجاوز $\mathcal{O}(N\log N)$ لمتتالية طولها $N$. ومع ذلك، عند تجميع هذه الطبقات، فإن نموذجنا يقدم أداءً رائدًا في العديد من مهام تصنيف المتتابعات وتقدير الكثافة الذاتية الانحدار باستخدام مجموعات بيانات CIFAR-10 و ListOps و PTB-XL.