Lire, Écouter et Voir : L'Utilisation de l'Information Multimodale Facilite la Correction Orthographique en Chinois

La correction orthographique chinoise (CSC) vise à détecter et corriger les caractères erronés dans les textes générés par les utilisateurs en langue chinoise. La plupart des erreurs d'orthographe chinoises sont dues à l'utilisation incorrecte de caractères sémantiquement, phonétiquement ou graphiquement similaires. Les tentatives précédentes ont remarqué ce phénomène et ont essayé d'utiliser la similarité pour cette tâche. Cependant, ces méthodes utilisent soit des heuristiques, soit des ensembles de confusion élaborés manuellement pour prédire le caractère correct. Dans cet article, nous proposons un correcteur orthographique chinois appelé ReaLiSe, qui exploite directement les informations multimodales des caractères chinois. Le modèle ReaLiSe aborde la tâche de CSC en (1) capturant les informations sémantiques, phonétiques et graphiques des caractères d'entrée, et (2) en mélangeant sélectivement ces informations dans différentes modalités pour prédire la sortie correcte. Les expériences sur les benchmarks SIGHAN montrent que le modèle proposé surpasse largement les lignes de base solides.