HyperAIHyperAI

Command Palette

Search for a command to run...

VTGAN : Synthèse d'images rétiniennes et prédiction de maladies à l'aide de transformateurs visuels

Sharif Amit Kamran Khondker Fariha Hossain Alireza Tavakkoli Stewart Lee Zuckerbrod Salah A. Baker

Résumé

Dans l'angiographie à la fluorescéine (FA), un colorant exogène est injecté dans le système sanguin pour imager la structure vasculaire de la rétine. Ce colorant peut provoquer des réactions indésirables telles que des nausées, des vomissements, un choc anaphylactique et même la mort. En revanche, l'imagerie du fond d'œil en couleur est une technique non invasive utilisée pour photographier la rétine, mais elle ne possède pas une fidélité suffisante pour capturer sa structure vasculaire. La seule méthode non invasive permettant de visualiser les vaisseaux sanguins de la rétine est l'angiographie par tomographie optique à cohérence (OCTA). Cependant, le matériel OCTA est assez coûteux et l'imagerie stable est limitée à de petites zones de la rétine. Dans cet article, nous proposons un nouveau réseau génératif adversarial conditionnel (GAN) capable de synthétiser simultanément des images FA à partir de photographies du fond d'œil tout en prédiction la dégénérescence rétinienne. Le système proposé présente l'avantage de résoudre le problème de l'imagerie de la vasculature rétinienne de manière non invasive ainsi que de prédire l'existence d'anomalies rétiniennes. Nous utilisons une approche semi-supervisée pour entraîner notre GAN en utilisant plusieurs pertes pondérées sur différentes modalités de données. Nos expériences valident que l'architecture proposée dépasse les réseaux génératifs les plus récents pour la synthèse fond d'œil-angiographie. De plus, nos discriminateurs basés sur des transformateurs visuels généralisent très bien sur des ensembles de données hors distribution pour la prédiction des maladies rétiniennes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp