基于微调预训练语言模型（PLM）的范式在实体匹配（Entity Matching, EM）任务中取得了显著成功。尽管这些模型表现出色，但其容易从训练数据中学习到虚假相关性。本文旨在探究基于PLM的实体匹配模型在现实应用场景中的可信度，尤其当实际数据分布与训练数据分布存在差异时。为此，我们设计了一个评估基准，用以衡量EM模型的鲁棒性，从而推动其在真实场景中的部署。我们的实验结果表明，训练数据中的类别不平衡是影响模型鲁棒性的关键问题。同时，我们发现仅依靠数据增强并不能充分提升模型的鲁棒性。为此，我们提出了一系列简单有效的改进策略，显著增强了基于PLM的EM模型的鲁棒性。实验结果表明，尽管在域内泛化性能上已达到先进水平，我们的方法相较于当前最优的EM模型，在鲁棒性方面实现了显著提升。