VTGAN: Vision Transformers を使用した半教師付き網膜画像合成と疾患予測

蛍光造影（Fluorescein Angiography: FA）では、外来性の染料が血液中に注入され、網膜の血管構造を画像化します。この注入された染料は、吐き気、嘔吐、アナフィラキシーショック、さらには死亡などの副作用を引き起こす可能性があります。一方、カラー眼底撮像は網膜を写真に収める非侵襲的な技術ですが、網膜の血管構造を十分に捉える忠実度が不足しています。網膜の血管構造を非侵襲的に捉える唯一の方法は光学干渉断層血流画像法（Optical Coherence Tomography-Angiography: OCTA）です。しかし、OCTA装置は非常に高価であり、安定した画像化は網膜の小さな領域に限定されています。本論文では、眼底写真からFA画像を同時に合成し、網膜変性を予測する新しい条件付き生成対抗ネットワーク（Generative Adversarial Network: GAN）を提案します。提案システムは、非侵襲的な方法で網膜の血管構造を画像化する問題に対処するとともに、網膜異常の存在を予測する利点があります。我々は半教師ありアプローチを使用して、データの異なるモダリティに対する複数の重み付け損失関数を使ってGANを学習させます。実験結果により、提案されたアーキテクチャが最近の最先端の生成ネットワークを超えて眼底から血管造影への合成を行うことが確認されました。さらに、我々が使用しているビジョントランスフォーマーに基づく識別器は、網膜疾患予測における外れ値データセットでも非常に良好な汎化性能を示しました。