Reconnaissance robuste du texte en scène avec rectification automatique

La reconnaissance de texte dans des images naturelles est une tâche complexe présentant de nombreux problèmes non résolus. Contrairement aux documents, les mots dans les images naturelles possèdent souvent des formes irrégulières, dues à la distorsion perspective ou au placement courbe des caractères, par exemple. Nous proposons RARE (Reconnaissance Robuste de Texte avec Rectification Automatique), un modèle de reconnaissance qui est robuste face au texte irrégulier. RARE est un réseau neuronal profond spécialement conçu, composé d'un Réseau de Transformation Spatiale (Spatial Transformer Network - STN) et d'un Réseau de Reconnaissance Séquentielle (Sequence Recognition Network - SRN). Lors des tests, une image est d'abord rectifiée par une transformation prédite Thin-Plate-Spline (TPS), transformant ainsi l'image en une version plus « lisible » pour le SRN suivant, qui reconnaît le texte par une approche de reconnaissance séquentielle. Nous démontrons que le modèle est capable de reconnaître plusieurs types de texte irrégulier, notamment le texte en perspective et le texte courbe. RARE peut être entraîné de manière end-to-end, nécessitant uniquement des images et leurs étiquettes textuelles associées, ce qui facilite son entraînement et sa mise en œuvre dans des systèmes pratiques. Les performances obtenues sur plusieurs benchmarks sont soit à l'état de l'art, soit hautement compétitives, ce qui illustre efficacement la pertinence du modèle proposé.