电子健康记录对于患者安全至关重要，因为它们以自由文本和医学代码的形式记录了患者的病情、治疗计划和手术过程。语言模型显著提升了这些记录的处理效率，简化了工作流程并减少了手动数据录入，从而为医疗保健提供者节省了大量资源。然而，这些模型的黑箱特性常常使医疗专业人员对其信任度持保留态度。最先进的可解释性方法虽然提高了模型的透明度，但依赖于人工标注的证据片段，这在成本上较高。在本研究中，我们提出了一种无需此类注释即可生成合理且忠实的解释的方法。我们在自动医学编码任务中展示了对抗鲁棒性训练如何提高解释的合理性，并引入了一种新的解释方法——AttInGrad，该方法优于以往的方法。通过在完全无监督的设置下结合这两项贡献，我们生成了与有监督方法相当甚至更好的解释质量。我们已公开我们的代码和模型权重。