شبكات العصر والانتباه للتحليل الدلالي

تم تحسين قدرات التمثيل في شبكات التجزئة من خلال دمج آليات الانتباه، وذلك بتركيز كبير على الميزات الأكثر إفادة. ومع ذلك، فإن هذه الآليات تتجاهل مهمة فرعية ضمنية في تجزئة المعنى، كما أنها محدودة بالبنية الشبكية لمحاور الترسيم (convolution kernels). في هذه الورقة، نقترح معمارية جديدة تُسمى شبكة التقليل والانتباه (SANet)، والتي تعتمد على وحدة فعّالة تُسمى "وحدة التقليل والانتباه" (SA) لمعالجة خصائص مميزة في عملية التجزئة: أولًا، انتباه المجموعة البكسلية (pixel-group attention)، وثانيًا، التنبؤ البكسيلي (pixel-wise prediction). بشكل خاص، تُفرض وحدات SA انتباهًا للمجموعة البكسلية على الترسيم التقليدي من خلال إدخال قناة ترسيم "انتباه"، مما يسمح بالتعامل بكفاءة مع الاعتماديات المكانية-القنوية. ويتم إنتاج النتائج النهائية للتجزئة من خلال دمج النتائج الناتجة من أربع مراحل هرمية في شبكة SANet، بهدف دمج السياقات متعددة المقاييس وتحسين التنبؤ البكسيلي. وقد أثبتت التجارب التجريبية على مجموعتي بيانات علامة صعبة وشاملتين فعالية الشبكات المقترحة، حيث حققت 83.2% من متوسط دقة التداخل (mIoU) دون تدريب مسبق على COCO على مجموعة PASCAL VOC، وتحقيق أفضل أداء ممكن حتى الآن بـ 54.4% من mIoU على مجموعة PASCAL Context.