스마트폰으로 수집한 임상 이미지와 메타데이터를 활용한 깊은 학습 기반의 다중 모달 융합 모델을 통한 피부 병변 진단

서론: 피부암은 가장 흔한 암 유형 중 하나이다. 일반 대중이 접근할 수 있는 도구는 악성 병변의 선별에 도움이 될 수 있다. 본 연구에서는 스마트폰을 통해 수집한 임상 이미지와 메타정보를 활용하여 피부 병변을 분류할 수 있는 딥러닝 모델을 개발하고자 하였다.방법: 이미지 데이터와 메타정보에서 정보를 추출하기 위해 두 개의 인코더를 갖춘 심층 신경망을 개발하였다. 이미지 특징과 메타 특징을 효과적으로 통합하기 위해 내모달 자기 주의(multi-modal self-attention)와 인모달 교차 주의(inter-modality cross-attention)를 포함한 다중모달 융합 모듈을 제안하였다. 모델은 공개 데이터셋을 이용하여 훈련 및 평가되었으며, 5배 교차 검증을 통해 다른 최첨단 방법들과 비교되었다.결과: 메타정보를 포함함으로써 모델의 성능이 크게 향상됨이 확인되었다. 본 모델은 정확도, 균형 정확도, 수신기 작동 특성 곡선 아래 면적(AUC) 측면에서 다른 메타정보 융합 방법들을 모두 상회하였으며, 평균적으로 각각 0.768±0.022, 0.775±0.022, 0.947±0.007의 성능을 기록하였다.결론: 스마트폰을 통해 수집한 이미지와 메타정보를 활용한 피부 병변 진단을 위한 딥러닝 모델이 성공적으로 개발되었다. 제안된 모델은 희망적인 성능을 보였으며, 피부암 선별을 위한 잠재적 도구로 활용될 수 있을 것으로 기대된다.