メディカルスライストランスフォーマー：DINOv2を用いた3Dメディカルイメージの診断精度向上と説明可能性の改善

MRI（磁気共鳴画像）とCT（コンピュータ断層撮影）は、複雑な病状の診断に不可欠な臨床断面画像技術です。しかし、深層学習用の注釈付き大規模3Dデータセットは希少です。2D画像分析においてDINOv2などの手法が有望である一方で、これらの手法は3D医療画像には適用されていません。さらに、深層学習モデルは「ブラックボックス」的な性質から説明可能性に乏しいことが多いです。本研究では、特にDINOv2を対象として2D自己教師なしモデルを3D医療画像解析に拡張し、その説明可能な結果の可能性を評価することを目指しています。私たちは、2D自己教師なしモデルを3D医療画像解析に適応させるためにMedical Slice Transformer（MST）フレームワークを導入しました。MSTは、Transformerアーキテクチャと2D特徴抽出器（つまり、DINOv2）を組み合わせています。私たちは、乳腺MRI（651人の患者）、胸部CT（722人の患者）、膝MRI（1199人の患者）という3つの臨床データセットでMSTの診断性能を3次元畳み込みニューラルネットワーク（3D ResNet）と比較して評価しました。両手法は乳がんの診断、肺結節の良性・悪性予測、半月板損傷の検出についてテストされました。診断性能は受信者動作特性曲線下面積（AUC）の計算によって評価され、説明可能性は放射線科医によるスライスおよび病変の正確さに基づくサリエンシーマップの定性的比較によって評価されました。P値はデロンテストを使用して計算されました。MSTはすべての3つのデータセットでResNetよりも高いAUC値を達成しました：乳腺（0.94±0.01 対 0.91±0.02, P=0.02）、胸部（0.95±0.01 対 0.92±0.02, P=0.13）、膝（0.85±0.04 対 0.69±0.05, P=0.001）。サリエンシーマップはMSTの方が一貫してより精密で解剖学的に正確でした。自己教師なし2DモデルであるDINOv2のようなものは、MSTを使用することで効果的に3D医療画像解析に適応でき、畳み込みニューラルネットワークと比較して診断精度と説明可能性が向上します。