FONTNET: Pipeline für die Font-Verarbeitung und -Vorhersage auf dem Gerät

Schriften sind eines der grundlegendsten und kernelementaren Designkonzepte. Eine tiefe Verständnis von Schriften kann zahlreiche Anwendungsfälle profitieren, wie zum Beispiel die Textanpassung, die es ermöglicht, den Text in einem Bild zu ändern, während die Schriftattribute wie Stil, Farbe und Größe beibehalten werden. Derzeit können Texterkennungslösungen erkannten Text auf Grundlage von Zeilenumbrüchen oder Absatzumbrüchen gruppieren; wenn die Schriftattribute bekannt sind, können mehrere Textblöcke auf Grundlage des Kontextes sinnvoll kombiniert werden.In dieser Arbeit schlagen wir zwei Engines vor: eine Schriftarten-Erkennungs-Engine (Font Detection Engine), die den Stil, die Farbe und die Größe der Schriftarten in Bildern identifiziert, und eine Schriftarten-Vorhersage-Engine (Font Prediction Engine), die ähnliche Schriftarten für eine angefragte Schriftart vorhersagt. Die wesentlichen Beiträge dieser Arbeit sind dreigeteilt: Erstens haben wir eine neuartige CNN-Architektur zur Identifikation des Stils von Schriftarten in Bildern entwickelt. Zweitens haben wir einen neuartigen Algorithmus zur Vorhersage ähnlicher Schriftarten für eine gegebene Abfrage-Schriftart entworfen. Drittens haben wir das gesamte System optimiert und auf dem Gerät implementiert (On-Device), was Datenschutz gewährleistet und Latenz in Echtzeitanwendungen wie Instant Messaging verbessert.Wir erreichen eine maximal benötigte Inferenzzeit von 30 ms sowie ein Modellvolumen von 4,5 MB für beide Engines.