Le contrôle orthographique chinois (CSC) est une tâche particulièrement difficile en raison des caractéristiques complexes des caractères chinois. Des statistiques montrent que la majorité des erreurs orthographiques chinoises relèvent de types d’erreurs phonétiques ou visuelles. Toutefois, les méthodes précédentes utilisent rarement les connaissances phonétiques ou morphologiques propres aux caractères chinois, ou s’appuient fortement sur des ressources externes pour modéliser leurs similarités. Pour remédier à ces limitations, nous proposons un nouveau modèle entièrement entraînable en bout à bout, nommé PHMOSpell, qui améliore les performances du CSC grâce à une information multimodale. Plus précisément, nous extrayons les représentations en pinyin (modale audio) et en glyphes (modale visuelle) pour chaque caractère chinois, puis intégrons ces informations dans un modèle linguistique pré-entraîné via un mécanisme d’ouverture adaptatif soigneusement conçu. Pour valider son efficacité, nous menons des expériences approfondies ainsi que des tests d’ablation. Les résultats expérimentaux sur trois benchmarks partagés démontrent que notre modèle surpasse de manière cohérente les modèles les plus avancés précédemment publiés.