VTGAN：使用视觉变换器的半监督视网膜图像合成与疾病预测

在荧光素血管造影（Fluorescein Angiography, FA）中，一种外源性染料被注入血液以成像视网膜的血管结构。注入的染料可能会引起不良反应，如恶心、呕吐、过敏性休克，甚至死亡。相比之下，彩色眼底成像是用于拍摄视网膜的一种非侵入性技术，但其分辨率不足以捕捉视网膜的血管结构。目前唯一能够非侵入性地捕捉视网膜血管的方法是光学相干断层扫描血管成像（Optical Coherence Tomography-Angiography, OCTA）。然而，OCTA设备相当昂贵，且稳定的成像范围仅限于视网膜的小区域。本文提出了一种新颖的条件生成对抗网络（Conditional Generative Adversarial Network, GAN），该网络能够在从眼底照片合成FA图像的同时预测视网膜退行性病变。所提出的系统具有非侵入性地成像视网膜血管的优势，并能预测视网膜异常的存在。我们采用半监督方法训练我们的GAN，使用多种加权损失对不同模态的数据进行训练。实验结果验证了所提出的架构在眼底到血管造影合成方面超过了近期最先进的生成网络。此外，基于视觉变换器（Vision Transformer）的判别器在用于视网膜疾病预测的分布外数据集上表现出了良好的泛化能力。