像放射科医生一样思考：跨解剖区域的放射科报告生成

自动化放射科报告生成可有效减轻放射科医生的报告撰写负担。然而，现有研究主要集中于胸部区域，主要受限于其他解剖部位公开数据集的匮乏。此外，这些方法通常依赖于简单的数据驱动范式，例如采用基础的编码器-解码器架构并结合图像描述损失（captioning loss），难以有效识别跨多种解剖区域的复杂影像模式。为解决上述问题，我们提出X-RGen——一种面向六个解剖区域的、以放射科医生思维为导向的报告生成框架。在X-RGen中，我们模拟人类放射科医生的诊断流程，将其分解为四个核心阶段：1）初步观察，2）跨区域分析，3）医学解读，以及4）报告生成。首先，我们采用图像编码器进行特征提取，类比放射科医生的初步阅片过程。其次，通过跨多个解剖区域的图像与报告联合分析，增强图像编码器的特征识别能力，模拟放射科医生通过过往病例积累经验、不断提升专业能力的过程。第三，如同放射科医生运用其临床专业知识解读影像，我们引入多解剖区域的放射学知识，从临床角度对提取的特征进行深度分析。最后，基于具备医学感知能力的特征，采用典型的自回归文本解码器生成结构化报告。在六个X光数据集上的实验结果表明，X-RGen在自然语言生成（NLG）指标与临床有效性评估方面均表现出显著优势。相关代码与模型检查点已开源，地址为：https://github.com/YtongXie/X-RGen。