الانتباه الذاتي المتقطع: نحو الانحدار بالبكسل عالي الجودة

الانحدار البكسل-ببكسيل يُعد على الأرجح المشكلة الأكثر شيوعًا في مهام الرؤية الحاسوبية الدقيقة، مثل تقدير خرائط حرارة النقاط المفتاحية وأقنعة التجزئة. تُعد هذه المشكلات الانحدارية صعبة جدًا، خاصةً لأنها تتطلب، في حدود تكلفة حسابية منخفضة، نمذجة الاعتماديات الطويلة المدى على المدخلات/المخرجات عالية الدقة لتقدير المعاني البكسل-ببكسيل غير الخطية بشكل دقيق. وعلى الرغم من انتشار آليات الانتباه في الشبكات العصبية العميقة ذات التحويلات التلافيفية (DCNNs) لتعزيز الاعتماديات الطويلة المدى، إلا أن الانتباه المخصص للعناصر، مثل كتل Nonlocal، يكون معقدًا للغاية وحساسًا للضوضاء عند التعلم، كما أن معظم الهجينة المبسطة للانتباه تحاول تحقيق أفضل توازن بين عدة أنواع من المهام. في هذه الورقة، نقدم كتلة الانتباه الذاتي المُقطَّب (Polarized Self-Attention - PSA)، التي تدمج تصميمين حاسمين لتحقيق انحدار بكسل-ببكسيل عالي الجودة: (1) التصفية المُقطَّبة: الحفاظ على الدقة الداخلية العالية في حسابات الانتباه القنوي والفضائي في آنٍ واحد، مع الانهيار الكامل للإدخالات على طول الأبعاد المقابلة. (2) التحسين: دمج غير خطية تتناسب مباشرة مع توزيع المخرجات في الانحدار الدقيق الشائع، مثل التوزيع الغاوسي ثنائي الأبعاد (خرائط حرارة النقاط المفتاحية)، أو التوزيع ثنائي الأبعاد المزدوج (أقنعة التجزئة الثنائية). تبدو كتلة PSA قد استنفذت القدرة التمثيلية في فروعها القنوية فقط والفضائية فقط، بحيث لا توجد فروق كبيرة في الأداء بين الترتيب التسلسلي والمتوازي لها. تُظهر النتائج التجريبية أن PSA تُحسّن النماذج القياسية بنسبة 2-4 نقاط، وتُحسّن النماذج الرائدة بنسبة 1-2 نقطة على معايير تقدير الوضع ثنائي الأبعاد وتجزئة المعنى.