11日前
スマートフォンで収集された臨床画像とメタデータを用いた皮膚病変診断のための深層学習ベースのマルチモーダル統合モデル
{Xiaobing Pi and Jiehua Li, Wei Luo, Xinchi Qin, Wentao Chen, Wenjun Gan, Haoyang He, Weili Jiang, Ronghua Yang, Sitong Zhou, Chubin Ou}
要約
はじめに:皮膚がんは最も一般的ながんの一つである。一般向けに利用可能なスクリーニングツールの開発は、悪性病変の早期発見に貢献する。本研究では、スマートフォンから収集した臨床画像とメタ情報(メタデータ)を用いて皮膚病変を分類する深層学習モデルの開発を目的とした。方法:画像データとメタデータの両方から特徴を抽出するため、2つのエンコーダを備えた深層ニューラルネットワークを構築した。画像特徴とメタ特徴を効果的に統合するため、モダリティ内自己注意(intra-modality self-attention)とモダリティ間クロス注意(inter-modality cross-attention)を組み合わせたマルチモーダル融合モジュールを提案した。本モデルは公開データセットを用いて訓練・評価され、5分割交差検証を用いて他の最先端手法と比較された。結果:メタデータを含むことで、モデルの性能が著しく向上することが示された。本モデルは、正解率(accuracy)、バランス正解率(balanced accuracy)、受信者操作特性曲線下面積(AUC)の観点で、他のメタデータ統合手法を上回り、それぞれ平均値0.768±0.022、0.775±0.022、0.947±0.007を達成した。結論:スマートフォンで収集された画像とメタデータを用いた皮膚病変診断のための深層学習モデルを成功裏に開発した。提案モデルは優れた性能を示しており、皮膚がんスクリーニングの潜在的なツールとして期待される。