Attention2AngioGAN: Synthese von Fluorescein-Angiografien aus retinalen Fundusbildern mittels generativer adversarischer Netze

Die Fluoreszein-Angiographie (FA) ist eine Technik, die eine spezielle Kamera für die Netzhautfotografie verwendet, die Aufregungs- und Barrierefilter integriert. Die FA erfordert zudem Fluoreszeinfarbstoff, der intravenös injiziert wird und Nebenwirkungen von Übelkeit und Erbrechen bis hin zu tödlicher Anaphylaxe verursachen kann. Derzeit gibt es keine andere schnelle und nicht-invasive Methode, die FA ohne Koppelung mit der Netzhautfotografie erzeugen kann. Um das Bedürfnis nach einem invasiven FA-Abnahmeverfahren zu beseitigen, stellen wir ein aufmerksamkeitsbasiertes Generatives Netzwerk vor, das Fluoreszein-Angiographien aus Netzhautbildern synthetisieren kann. Das vorgeschlagene GAN (Generative Adversarial Network) enthält mehrere aufmerksamkeitsbasierte Skip-Verbindungen in den Generatoren und umfasst neuartige Residualblöcke sowohl für die Generatoren als auch für die Diskriminatoren. Es nutzt Rekonstruktions-, Merkmalsabgleichs- und wahrnehmungsbezogene Verlustfunktionen zusammen mit adversarialem Training, um realistische Angiogramme zu erzeugen, die selbst für Experten schwer zu unterscheiden sind von echten. Unsere Experimente bestätigen, dass die vorgeschlagene Architektur jüngste erstklassige generative Netzwerke bei der Aufgabe der Übersetzung von Netzhautbildern zu Angiogrammen übertrifft.