GANs pour la synthèse d'images médicales : une étude empirique

Les réseaux antagonistes génératifs (GAN) sont devenus de plus en plus puissants, capable de produire des images photoréalistes impressionnantes qui reproduisent fidèlement le contenu des jeux de données sur lesquels ils ont été entraînés. Un thème récurrent dans le domaine de l'imagerie médicale concerne la question de savoir si les GAN peuvent également être efficaces pour générer des données médicales exploitables, tout comme ils le sont pour produire des images RGB réalistes. Dans cet article, nous menons une étude multidimensionnelle portant sur plusieurs GAN et plusieurs applications afin d'évaluer les bénéfices potentiels des GAN en imagerie médicale. Nous avons testé diverses architectures de GAN, allant du DCGAN fondamental aux GAN basés sur le style plus sophistiqués, sur trois modalités d'imagerie médicale et trois organes : l’imagerie par résonance magnétique (IRM) cine cardiaque, le scanner tomodensitométrique (CT) du foie et les images RGB de la rétine. Les GAN ont été entraînés sur des jeux de données connus et largement utilisés, et leur score FID a été calculé afin de mesurer la qualité visuelle des images générées. Nous avons également évalué leur utilité pratique en mesurant la précision de segmentation d’un réseau U-Net entraîné sur ces images synthétiques.Les résultats révèlent que les GAN ne se valent pas tous : certains s'avèrent mal adaptés aux applications en imagerie médicale, tandis que d'autres se distinguent nettement. Les meilleurs GAN sont capables de générer des images médicales apparemment réalistes selon les critères FID, pouvant tromper des experts formés dans un test visuel de Turing. Toutefois, les résultats de segmentation suggèrent qu’aucun GAN n’est capable de reproduire intégralement la richesse intrinsèque d’un jeu de données médical réel.