VTGAN : Synthèse d'images rétiniennes et prédiction de maladies à l'aide de transformateurs visuels

Dans l'angiographie à la fluorescéine (FA), un colorant exogène est injecté dans le système sanguin pour imager la structure vasculaire de la rétine. Ce colorant peut provoquer des réactions indésirables telles que des nausées, des vomissements, un choc anaphylactique et même la mort. En revanche, l'imagerie du fond d'œil en couleur est une technique non invasive utilisée pour photographier la rétine, mais elle ne possède pas une fidélité suffisante pour capturer sa structure vasculaire. La seule méthode non invasive permettant de visualiser les vaisseaux sanguins de la rétine est l'angiographie par tomographie optique à cohérence (OCTA). Cependant, le matériel OCTA est assez coûteux et l'imagerie stable est limitée à de petites zones de la rétine. Dans cet article, nous proposons un nouveau réseau génératif adversarial conditionnel (GAN) capable de synthétiser simultanément des images FA à partir de photographies du fond d'œil tout en prédiction la dégénérescence rétinienne. Le système proposé présente l'avantage de résoudre le problème de l'imagerie de la vasculature rétinienne de manière non invasive ainsi que de prédire l'existence d'anomalies rétiniennes. Nous utilisons une approche semi-supervisée pour entraîner notre GAN en utilisant plusieurs pertes pondérées sur différentes modalités de données. Nos expériences valident que l'architecture proposée dépasse les réseaux génératifs les plus récents pour la synthèse fond d'œil-angiographie. De plus, nos discriminateurs basés sur des transformateurs visuels généralisent très bien sur des ensembles de données hors distribution pour la prédiction des maladies rétiniennes.