VTGAN: Vision Transformers를 이용한 반지도 학습 망막 영상 합성 및 질병 예측

형광안료 혈관조영술(FA)에서는 외부에서 유래한 염색제를 혈류에 주입하여 망막의 혈관 구조를 촬영합니다. 주입된 염색제는 메스꺼움, 구토, 아나필락틱 쇼크, 심지어 사망과 같은 부작용을 일으킬 수 있습니다. 반면, 색상 망막 촬영은 망막을 사진으로 찍는 비침습적 기술이지만, 그 혈관 구조를 충분히 정밀하게 캡처할 수 없습니다. 망막 혈관 구조를 비침습적으로 캡처할 수 있는 유일한 방법은 광학 코히런스 단층혈관조영술(OCTA)입니다. 그러나 OCTA 장비는 매우 비싸며, 안정적인 이미징은 망막의 작은 영역에만 제한됩니다.본 논문에서는 색상 망막 사진에서 FA 이미지를 동시에 합성하며 망막 퇴행성을 예측할 수 있는 새로운 조건부 생성적 적대 신경망(GAN)을 제안합니다. 제안된 시스템은 비침습적으로 망막 혈관 구조를 이미징하는 문제를 해결하고, 망막 이상의 존재를 예측하는 이점을 가지고 있습니다. 우리는 여러 데이터 모드에 대해 다양한 가중 손실을 사용하여 GAN을 반감독 학습 방식으로 훈련시킵니다. 실험 결과, 제안된 아키텍처가 최근의 최신 생성 네트워크보다 눈저림-혈관조영 합성에서 우수함을 확인하였습니다. 또한, 우리의 비전 트랜스포머 기반 판별기는 망막 질병 예측을 위한 분포 외 데이터 세트에서도 상당히 잘 일반화됨을 보여주었습니다.