قراءة النص في البيئة الطبيعية باستخدام شبكات العصبونات التلافيفية

في هذا العمل، نقدم نظامًا شاملًا لاكتشاف النصوص - تحديد مواقعها وتعرفها في صور المشاهد الطبيعية - واسترجاع الصور بناءً على النص. يعتمد هذا النظام على آلية اقتراح المناطق لاكتشاف النصوص وشبكات العصبونات العميقة التلافيفية للتعرف عليها. يستخدم أنبوبنا تقنيات جديدة ومكملة لاقتراح المناطق لضمان استدعاء عالي، ومرحلة تصفية سريعة لاحقة لتحسين الدقة. بالنسبة للتعرف على الاقتراحات وترتيبها، نقوم بتدريب شبكات عصبونية تلافيفية كبيرة جدًا لأداء التعرف على الكلمات في منطقة الاقتراح بأكملها في وقت واحد، مبتعدًا عن أنظمة تصنيف الحروف التي كانت مستخدمة سابقًا. يتم تدريب هذه الشبكات فقط على البيانات المنتجة بواسطة محرك إنتاج النصوص المُحاكي (synthetic text generation engine)، دون الحاجة إلى بيانات مصنفة من قبل البشر.من خلال تحليل مراحل أنبوبنا، نظهر أداءً رائدًا في جميع الأطوار. نجري تجارب دقيقة عبر عدد من مقاييس الاختبار القياسية لنظم الاكتشاف الشامل للنصوص وأدوات استرجاع الصور بناءً على النص، مما يظهر تحسنًا كبيرًا على جميع الأساليب السابقة. أخيرًا، نوضح تطبيقًا عمليًا لنظامنا لاكتشاف النصوص يسمح بالبحث الفوري عن آلاف الساعات من تسجيلات الأخبار عبر استعلام نصي.