读、听、看：利用多模态信息有助于中文拼写检查

中文拼写检查（Chinese Spell Checking, CSC）旨在检测并纠正用户生成的中文文本中的错误字符。大多数中文拼写错误是由于语义、音近或形近字符的误用造成的。先前的研究注意到了这一现象，并尝试利用相似性来完成这项任务。然而，这些方法要么使用启发式算法，要么依赖手工构建的混淆集来预测正确的字符。在本文中，我们提出了一种名为ReaLiSe的中文拼写检查器，通过直接利用汉字的多模态信息来解决这一问题。ReaLiSe模型通过以下两个步骤处理CSC任务：(1) 捕获输入字符的语义、音韵和字形信息；(2) 有选择地融合这些模态的信息以预测正确的输出。在SIGHAN基准测试上的实验结果表明，所提出的模型显著优于强大的基线模型。