شبكات التوافق متعددة المقاييس للتوافق الدلالي

أثبتت السمات العميقة قوتها في بناء تطابق كثيف دلالي دقيق في العديد من الدراسات السابقة. ومع ذلك، لم تُدرَس بشكل كافٍ الهيكل الهرمي متعدد المقياس والهرمي للشبكات العصبية التلافيفية لتعلم سمات مميزة على مستوى البكسل للتطابق الدلالي. في هذه الورقة، نقترح شبكة تطابق متعددة المقياس تكون حساسة للتغيرات الدقيقة في الدلالة بين البكسلات المجاورة. نتبع استراتيجية التطابق من العام إلى الخاص، ونُنشئ خطة تعزيز سمات وتطابق من الأعلى إلى الأسفل، مترابطة مع الهيكل الهرمي متعدد المقياس للشبكات العصبية التلافيفية العميقة. أثناء تعزيز السمات، يدمج التعزيز الداخلي للمقياس خرائط السمات بنفس الدقة من طبقات متعددة من خلال الانتباه الذاتي المحلي، بينما يُنشئ التعزيز عبر المقياس خرائط سمات ذات دقة أعلى على طول الهرم من الأعلى إلى الأسفل. علاوةً على ذلك، نتعلم تفاصيل تطابق مكملة على مختلف المقياس، مما يؤدي إلى تحسين تدريجي لنتيجة التطابق العامة من خلال سمات ذات مستويات دلالية مختلفة. يمكن تدريب شبكة التطابق متعددة المقياس بشكل مباشر (end-to-end) بسهولة، مع عدد قليل جدًا من المعاملات القابلة للتعلم الإضافية. تُظهر النتائج التجريبية أن الطريقة المقترحة تحقق أداءً متقدمًا للغاية (state-of-the-art) على ثلاث معايير شهيرة، مع كفاءة حسابية عالية.