HistGen：通过局部-全局特征编码和跨模态上下文交互生成病理报告

组织病理学在癌症诊断中被视为金标准，临床报告对于解释和理解这一过程至关重要，能够指导癌症治疗和患者护理。通过深度学习实现组织病理学报告生成的自动化有望显著提高临床效率，并减轻病理学家在撰写报告时所承担的繁重且耗时的工作负担。为了推动这一进展，我们介绍了HistGen，这是一种基于多实例学习的框架，用于组织病理学报告生成，并提供了首个用于评估的基准数据集。受诊断和报告撰写工作流程的启发，HistGen设计了两个精心构建的模块，旨在通过从局部和全局粒度对整张切片图像（WSIs）和诊断报告进行对齐来提升报告生成的质量。为此，开发了一种局部-全局层次编码器，以高效地从区域到整张切片的角度聚合视觉特征。同时，提出了一种跨模态上下文模块，明确促进不同模态之间的对齐和交互，有效弥合了WSIs广泛视觉序列与相应高度概括的报告之间的差距。在整张切片图像报告生成实验中，所提出的模型大幅超越了现有最先进（SOTA）模型。此外，在癌症亚型分类和生存分析任务上微调我们的模型所得的结果进一步证明了其性能优于SOTA方法，展示了强大的迁移学习能力。数据集、模型权重和源代码可在https://github.com/dddavid4real/HistGen获取。