Poly-NL: طبقات غير محلية ذات تعقيد خطي باستخدام كثيرات الحدود
تُدخل طبقات الانتباه الذاتي الفضائي، على شكل كتل غير محلية (Non-Local blocks)، اعتمادًا طويل المدى في الشبكات العصبية التلافيفية من خلال حساب التشابهات الزوجية بين جميع المواقع الممكنة. تُشكّل هذه الدوال الزوجية الأساس في كفاءة طبقات غير المحلية، لكنها أيضًا تحدّد تعقيدًا يتناسب تربيعيًا مع حجم المدخلات من حيث الفضاء والزمن. يُعد هذا العامل محدودًا بشكل كبير، مما يعيق تطبيق كتل غير المحلية على المدخلات حتى المتوسطة الحجم عمليًا. ركّزت الدراسات السابقة على تقليل هذا التعقيد من خلال تعديل العمليات المصفوفية الأساسية، لكن في هذا العمل نهدف إلى الحفاظ على التعبير الكامل لطبقات غير المحلية مع الحفاظ على التعقيد الخطي. نتجاوز قيد الكفاءة في كتل غير المحلية من خلال صياغتها كحالات خاصة من الدوال متعددة الحدود من الدرجة الثالثة. يمكّن هذا المفهوم من صياغة كتل غير محلية جديدة بسرعة، تقلل من التعقيد من التربيعي إلى الخطي دون فقدان في الأداء، وذلك عن طريق استبدال أي حساب مباشر للتشابهات الزوجية بعمليات ضرب عنصرية. يُعدّ هذا المنهج المقترح، الذي نسميه "Poly-NL"، منافسًا للحالة المتطورة في مهام التعرف على الصور والتقسيم النموذجي والكشف عن الوجوه، مع وجود حمل حسابي أقل بشكل ملحوظ.