L'apprentissage basé sur le gradient appliqué à la reconnaissance de documents

Les réseaux de neurones multicouches entraînés par l'algorithme de rétropropagation constituent l'exemple le plus frappant d'une technique d'apprentissage fondée sur le gradient. Étant donné une architecture de réseau appropriée, les algorithmes d'apprentissage basés sur le gradient permettent de construire une surface de décision complexe capable de classifier des motifs à haute dimension, tels que des caractères manuscrits, avec un prétraitement minimal. Ce papier passe en revue diverses méthodes appliquées à la reconnaissance de caractères manuscrits et les compare sur une tâche standard de reconnaissance de chiffres manuscrits. Les réseaux de neurones convolutifs, spécifiquement conçus pour traiter la variabilité des formes en deux dimensions, se révèlent supérieurs à toutes les autres techniques. Les systèmes réels de reconnaissance de documents sont composés de plusieurs modules, notamment l'extraction de champs, la segmentation, la reconnaissance et le modèle linguistique. Un nouveau paradigme d'apprentissage, appelé réseaux de transformateurs de graphes (Graph Transformer Networks, GTN), permet d'entraîner globalement de tels systèmes multimodules à l'aide de méthodes basées sur le gradient, afin de minimiser une mesure globale de performance. Deux systèmes de reconnaissance en temps réel de l'écriture manuscrite sont décrits. Des expériences montrent les avantages de l'entraînement global ainsi que la flexibilité des réseaux de transformateurs de graphes. Un réseau de transformateurs de graphes destiné à la lecture de chèques bancaires est également présenté. Il combine des reconnaisseurs de caractères basés sur des réseaux de neurones convolutifs avec des techniques d'entraînement global, offrant une précision record sur les chèques commerciaux et personnels. Ce système est désormais déployé commercialement et traite plusieurs millions de chèques par jour.