VTGAN: Halbüberwachte Synthese von Netzhautbildern und Krankheitsvorhersage mithilfe von Visionstransformatoren

Bei der Fluorescein-Angiographie (FA) wird ein fremdes Farbstoffmittel in den Blutkreislauf injiziert, um die Gefäßstruktur der Netzhaut abzubilden. Der injizierte Farbstoff kann Nebenwirkungen wie Übelkeit, Erbrechen, anaphylaktischen Schock und sogar den Tod verursachen. Im Gegensatz dazu ist die farbliche Fundus-Bildgebung eine nicht-invasive Technik zur Fotografierung der Netzhaut, die jedoch nicht ausreichend genaue Abbildungen ihrer Gefäßstruktur liefert. Die einzige nicht-invasive Methode zur Erfassung der netzhautgefäße ist die optische Kohärenztomographie-Angiographie (OCTA). Allerdings ist OCTA-Ausrüstung sehr teuer und stabile Bildgebung ist auf kleine Bereiche der Netzhaut beschränkt. In dieser Arbeit schlagen wir ein neues bedingtes generatives adversariales Netzwerk (GAN) vor, das in der Lage ist, FA-Bilder aus Fundusfotografien zu synthetisieren und gleichzeitig degenerative Veränderungen der Netzhaut vorherzusagen. Das vorgeschlagene System hat den Vorteil, das Problem der nicht-invasiven Abbildung der netzhautgefäße zu lösen und gleichzeitig die Existenz von Netzhautanomalien vorherzusagen. Wir verwenden einen semiaufsichtsmäßigen Ansatz, um unser GAN mit mehreren gewichteten Verlustfunktionen auf verschiedenen Datenmodalitäten zu trainieren. Unsere Experimente bestätigen, dass die vorgeschlagene Architektur jüngste state-of-the-art-generative Netzwerke für die Synthese von Fundus- zu Angiographiebildern übertrifft. Darüber hinaus generalisieren unsere vision transformer-basierten Diskriminatoren sehr gut auf außerhalb des Trainingsdatensatzes liegende Datensätze zur Vorhersage von Netzhautkrankheiten.请注意，这里有一些术语的翻译：- Fluorescein Angiography: Fluorescein-Angiographie- exogenous dye: fremdes Farbstoffmittel- retinal vasculature: netzhautgefäße- optical coherence tomography-angiography: optische Kohärenztomographie-Angiographie- conditional generative adversarial network: bedingtes generatives adversariales Netzwerk- fundus photographs: Fundusfotografien- retinal degeneration: degenerative Veränderungen der Netzhaut- retinal abnormalities: Netzhautanomalien- semi-supervised approach: semiaufsichtsmäßiger Ansatz- vision transformer-based discriminators: vision transformer-basierte Diskriminatoren- out-of-distribution data sets: außerhalb des Trainingsdatensatzes liegende Datensätze这些翻译符合德语在科技和学术领域的表达习惯。