Extraction de l'information structurée à base d'attention à partir des images de vue de rue

Nous présentons un modèle de réseau neuronal basé sur des CNNs, des RNNs et un nouveau mécanisme d'attention, qui atteint une précision de 84,2 % sur l'ensemble de données difficile des panneaux de noms de rues français (FSNS), surpassant considérablement l'état de l'art précédent (Smith'16), qui avait obtenu 72,46 %. De plus, notre nouvelle méthode est beaucoup plus simple et générale que l'approche précédente. Pour démontrer la généralité de notre modèle, nous montrons qu'il performe également bien sur un ensemble de données encore plus difficile dérivé de Google Street View, où l'objectif est d'extraire les noms d'entreprises à partir des façades de magasins. Enfin, nous étudions le compromis vitesse/précision résultant de l'utilisation d'extractioneurs de caractéristiques CNNs de différentes profondeurs. De manière surprenante, nous constatons que plus profond ne signifie pas toujours mieux (en termes de précision ainsi que de vitesse). Notre modèle résultant est simple, précis et rapide, ce qui lui permet d'être utilisé à grande échelle pour une variété de problèmes difficiles d'extraction de texte dans le monde réel.