FONTNET: أنابيب فهم وتوقع الخطوط على الجهاز

الخطوط هي واحدة من المفاهيم الأساسية والأساسية في التصميم. يمكن أن تستفيد العديد من الحالات الاستخدامية من فهم عميق للخطوط، مثل تخصيص النص الذي يمكنه تغيير النص في صورة مع الحفاظ على خصائص الخط مثل الأسلوب واللون والحجم. حاليًا، يمكن لحلول التعرف على النص تجميع النصوص المعترف بها بناءً على فواصل السطور أو فواصل الفقرات، وإذا كانت خصائص الخط معروفة، فيمكن دمج عدة كتل نصية بناءً على السياق بطريقة ذات معنى.في هذا البحث، نقترح محركين: محرك اكتشاف الخطوط (Font Detection Engine)، الذي يحدد خصائص أسلوب ولون وحجم النص في الصورة، ومحرك التنبؤ بالخطوط (Font Prediction Engine)، الذي يتوقع خطوطًا مشابهة لنمط الخط المستفسر عنه. تتلخص المساهمات الرئيسية لهذا البحث في ثلاثة أمور: أولاً، طورنا معمارية CNN جديدة لاكتشاف أسلوب الخط للنصوص في الصور. ثانيًا، صممنا خوارزمية جديدة للتنبؤ بالخطوط المشابهة لنمط الخط المعطى. ثالثًا، قمنا بتحسين وإطلاق المحرك بأكمله على الجهاز (On-Device) مما يضمن الخصوصية ويحسن زمن الاستجابة في التطبيقات الفورية مثل الرسائل الفورية. نحقق زمن استدلال أسوأ حالة على الجهاز يبلغ 30 ميلي ثانية وحجم نموذج يبلغ 4.5 ميجابايت لكل من المحركين.