تثليج الصور الطبيعية باستخدام الانتباه السياقي الموجه

خلال السنوات القليلة الماضية، حققت النماذج المستندة إلى التعلم العميق تحسينات ملحوظة في تقليم الصور الطبيعية. يمكن للكثير من هذه الطرق إنتاج تقديرات ألفا (alpha) مرئية بشكل معقول، لكنها عادةً ما تنتج هياكل أو نصوصًا ضبابية في المنطقة شبه الشفافة. هذا يرجع إلى الغموض المحلي للأجسام الشفافة. أحد الحلول الممكنة هو الاستفادة من المعلومات المحيطة البعيدة لتقدير الشفافية المحلية. غالبًا ما تعاني الطرق التقليدية المستندة إلى التشابه من التعقيد الحسابي العالي، مما يجعلها غير مناسبة لتقدير ألفا بدقة عالية. مستوحىً من طرق التشابه ونجاحات الانتباه السياقي في عملية الملء (inpainting)، قمنا بتطوير نهج جديد يعتمد على الشبكة العصبية العميقة مع وحدة انتباه سياقية موجهة، وهي مصممة خصيصًا لتقليم الصور الطبيعية. تقوم وحدة الانتباه السياقية الموجهة بنشر المعلومات الشفافة عالية المستوى بشكل عالمي بناءً على التشابه المنخفض المستوى الذي تم تعلمه. يمكن للطريقة المقترحة أن تحاكي تدفق المعلومات في طرق التشابه وتستفيد في الوقت نفسه من الخصائص الغنية التي يتم تعلمها بواسطة الشبكات العصبية العميقة. أظهرت نتائج التجارب على مجموعة اختبار Composition-1k وعلى مجموعة بيانات معيارية alphamatting.com أن طريقتنا تتفوق على أفضل الطرق الحالية في تقليم الصور الطبيعية. يمكن الوصول إلى الكود والنماذج عبر الرابط: https://github.com/Yaoyi-Li/GCA-Matting.