Die chinesische Rechtschreibüberprüfung (CSC) ist aufgrund der komplexen Eigenschaften chinesischer Zeichen eine herausfordernde Aufgabe. Statistiken zeigen, dass die meisten chinesischen Rechtschreibfehler auf phonologische oder visuelle Ähnlichkeiten zurückzuführen sind. Bisherige Ansätze nutzen jedoch selten phonologisches und morphologisches Wissen über chinesische Zeichen oder stützen sich stark auf externe Ressourcen, um deren Ähnlichkeiten zu modellieren. Um diese Probleme anzugehen, schlagen wir ein neuartiges, end-to-end trainierbares Modell namens PHMOSpell vor, das die Leistung der CSC durch die Nutzung multimodaler Informationen verbessert. Konkret gewinnen wir aus der Audio- und visuellen Modality jeweils pinyin- und glyphenbasierte Darstellungen chinesischer Zeichen, die mittels eines sorgfältig entworfenen adaptiven Gating-Mechanismus in ein vortrainiertes Sprachmodell integriert werden. Zur Überprüfung der Wirksamkeit unseres Ansatzes führen wir umfassende Experimente und Ablationsstudien durch. Die experimentellen Ergebnisse auf drei gemeinsam genutzten Benchmark-Datensätzen zeigen, dass unser Modell konsistent die bisher besten Ansätze übertrifft.