كشف الخطوط الدلالية وتطبيقاته

تحدد الخطوط الدلالية تخطيط الصورة. وعلى الرغم من أهميتها في تحليل الصور وفهم المشهد، فإن هناك نقصًا في الأبحاث الموثوقة المتعلقة باكتشاف الخطوط الدلالية. في هذه الورقة، نقترح كاشفًا للخطوط الدلالية يستخدم شبكة عصبية متعددة الطبقات (CNN) مع تعلم متعدد المهام، من خلال اعتبار مهمة اكتشاف الخطوط كمزيج من مهام التصنيف والانحدار. نستخدم طبقات التصفية (convolution) وطبقات التقليل الأقصى (max-pooling) للحصول على خرائط ميزات متعددة المقاييس للصورة المدخلة. ثم نطور طبقة تسمى "الاستخلاص بالخطوط" (line pooling layer) لاستخراج متجه ميزة لكل خط مرشح من خرائط الميزات. بعد ذلك، نُدخل متجه الميزة إلى طبقتين متوازيتين: طبقة تصنيف وطبقة انحدار. تحدد الطبقة التصنيفية ما إذا كان الخط المرشح يحمل دلالة أم لا. وفي حالة كون الخط دلاليًا، تقوم الطبقة الانحدارية بتحديد التصحيح (offset) لتحسين موقع الخط. أظهرت النتائج التجريبية أن الكاشف المقترح يستخرج الخطوط الدلالية بدقة وموثوقية عالية. علاوة على ذلك، نُظهر أن الكاشف المقترح يمكن استخدامه بنجاح في ثلاث تطبيقات: تقدير الأفق، تحسين التكوين البصري، وتبسيط الصورة.