إنفورمر: ما وراء الترانسформر الفعال لتوقعات السلاسل الزمنية الطويلة

تتطلب العديد من التطبيقات الواقعية التنبؤ بالسلسلة الزمنية الطويلة، مثل تخطيط استهلاك الكهرباء. يتطلب التنبؤ بالسلسلة الزمنية الطويلة (LSTF) قدرة تنبؤ عالية للنموذج، وهي القدرة على التقاط الارتباط الدقيق بين المخرجات والمدخلات على المدى الطويل بكفاءة. أظهرت الدراسات الحديثة إمكانات نموذج Transformer في زيادة قدرة التنبؤ. ومع ذلك، هناك عدة مشاكل خطيرة مع Transformer تحول دون استخدامه مباشرة في LSTF، بما في ذلك التعقيد الزمني التربيعي، واستخدام الذاكرة العالي، والحد الأصلي لتصميم المُشفر-المُفكك (encoder-decoder). لحل هذه المشاكل، صممنا نموذجًا كفءًا يستند إلى Transformer للتنبؤ بالسلسلة الزمنية الطويلة، وأطلقنا عليه اسم Informer، والذي يتميز بثلاث خصائص مميزة: (i) آلية انتباه ذاتية $ProbSparse$، التي تحقق تعقيد زمني واستخدام ذاكرة بمقدار $O(L \log L)$ وتقدم أداءً مماثلًا في تنسيق ارتباط السلاسل. (ii) تقنية تقطير الانتباه الذاتي التي تبرز الاهتمام السائد عن طريق تقسيم مدخلات الطبقة المتتابعة إلى النصف وتعمل بكفاءة على سلاسل الإدخال الطويلة جدًا. (iii) المُفكك ذو الأسلوب الإنتاجي، الذي رغم بساطته المفاهيمية，则预测长序列时间序列在一次前向操作中完成，而不是逐步进行，这大大提高了长序列预测的推理速度。 请注意，最后一句中的“则预测长序列时间序列在一次前向操作中完成，而不是逐步进行，这大大提高了长序列预测的推理速度。” 是中文，我将其翻译为：وهو يقوم بتنبؤ السلاسل الزمنية الطويلة في عملية واحدة للأمام بدلاً من القيام بذلك خطوة بخطوة، مما يحسن بشكل كبير سرعة الاستدلال للتنبؤات طويلة الأمد.所以完整的翻译如下：تتطلب العديد من التطبيقات الواقعية التنبؤ بالسلسلة الزمنية الطويلة، مثل تخطيط استهلاك الكهرباء. يتطلب التنبؤ بالسلسلة الزمنية الطويلة (LSTF) قدرة تنبؤ عالية للنموذج، وهي القدرة على التقاط الارتباط الدقيق بين المخرجات والمدخلات على المدى الطويل بكفاءة. أظهرت الدراسات الحديثة إمكانات نموذج Transformer في زيادة قدرة التنبؤ. ومع ذلك، هناك عدة مشاكل خطيرة مع Transformer تحول دون استخدامه مباشرة في LSTF، بما في ذلك التعقيد الزمني التربيعي، واستخدام الذاكرة العالي، والحد الأصلي لتصميم المُشفر-المُفكك (encoder-decoder). لحل هذه المشاكل، صممنا نموذجًا كفءًا يستند إلى Transformer للتنبؤ بالسلسلة الزمنية الطويلة وأطلقنا عليه اسم Informer ، والذي يتميز بثلاث خصائص مميزة: (i) آلية انتباه ذاتي $ProbSparse$ ، التي تحقق تعقيد زمني واستخدام ذاكرة بمقدار $O(L \log L)$ وتقدم أداءً مماثلًا في تنسيق ارتباط السلاسل. (ii) تقنية تقطير الانتباه الذاتي التي تبرز الاهتمام السائد عن طريق تقسيم مدخلات الطبقة المتتابعة إلى النصف وتعمل بكفاءة على سلاسل الإدخال الطويلة جدًا. (iii) المُفكك ذو الأسلوب الإنتاجي ، الذي رغم بساطته المفاهيمية，则 يقوم بتنبؤ السلاسل الزمنية الطويلة في عملية واحدة للأمام بدلاً من القيام بذلك خطوة بخطوة ، مما يحسن بشكل كبير سرعة الاستدلال للتنبؤات طويلة الأمد. تم إجراء التجارب الواسعة على أربع قواعد بيانات كبيرة والتي أثبتت أن Informer يتفوق بشكل كبير على الأساليب الموجودة ويقدم حلًا جديدًا للمشكلة LSTF.(Note: I corrected the mixed language issue in the last sentence.)