11 天前

用于医学图像合成的GANs:一项实证研究

Youssef Skandarani, Pierre-Marc Jodoin, Alain Lalande
用于医学图像合成的GANs:一项实证研究
摘要

生成对抗网络(Generative Adversarial Networks, GANs)近年来发展迅猛,能够生成令人惊叹的、高度逼真的图像,其内容与训练所依据的数据集高度一致。在医学影像领域,一个反复出现的问题是:GANs在生成真实感RGB图像方面表现出色,是否同样能够有效生成可实际应用的医学影像数据?本文开展了一项多GAN架构与多应用场景的研究,旨在评估GANs在医学影像中的实际效益。我们选取了从基础的DCGAN到更复杂的基于风格的GAN架构,在三种医学影像模态及对应器官上进行了测试,分别为心脏电影磁共振成像(cardiac cine-MRI)、肝脏CT影像以及RGB眼底图像。所有GAN模型均在知名且广泛应用的公开数据集上进行训练,并通过计算其FID(Fréchet Inception Distance)分数来评估生成图像的视觉质量。为进一步验证其实际应用价值,我们还测试了在这些生成数据上训练的U-Net网络在医学图像分割任务中的准确率。研究结果表明,不同GAN模型在医学影像生成任务中的表现差异显著:部分模型显然不适用于医学影像生成,而另一些则表现更为出色。表现最优的GAN模型在FID指标上能够生成视觉上高度逼真的医学图像,甚至在视觉图灵测试中可欺骗经过专业训练的专家,且在若干评估指标上达到可接受水平。然而,分割任务的结果显示,目前尚无任何一种GAN能够完整复现真实医学数据集所蕴含的全部复杂性和多样性。这表明,尽管GAN在生成视觉逼真图像方面取得显著进展,但在全面模拟医学数据的结构与语义特征方面仍面临重大挑战。