SEED: إطار عمل مشفر-مُشفّر مُعزّز بالمعاني للتعرف على النص في المشاهد

تمثّل اعتراف النص في المشهد موضوعًا بحثيًا حديثًا وشائعًا في مجال رؤية الحاسوب. في الآونة الأخيرة، تم اقتراح العديد من الطرق المعتمدة على هيكل المُشفّر-المُفكّك (encoder-decoder) للاعتراف بالنصوص، والتي تُظهر قدرة على التعامل مع النصوص في المشاهد المُعرّضة للتشويه المنظوري والأشكال المنحنية. ومع ذلك، لا تزال تواجه تحديات عديدة مثل الضبابية في الصور، والإضاءة غير الموحدة، وانعدام بعض الحروف. نحن نرى أن معظم الطرق القائمة على هيكل المُشفّر-المُفكّك تعتمد على ميزات بصرية محلية دون معلومات شمولية معنوية صريحة. في هذا العمل، نقترح هيكلًا مُحسّنًا بالمعاني (semantics enhanced encoder-decoder) للتعرف الموثوق على النصوص منخفضة الجودة في المشاهد. تُستخدم المعلومات المعنوية في كلا الوحدتين: في وحدة المُشفّر لتوفير إشراف، وفي وحدة المُفكّك لتوفير تهيئة أولية. وبشكل خاص، تم دمج الطريقة الرائدة ASTER في الإطار المقترح كمثال توضيحي. أظهرت التجارب الواسعة أن الإطار المقترح أكثر موثوقية في التعامل مع صور النصوص منخفضة الجودة، ويحقق نتائج متميزة على عدة مجموعات بيانات معيارية.