Raptor: 3次元医療データのスケーラブルな学習不要埋め込みを実現する、事前学習済み2次元基盤モデルを活用した手法

現在のボリューム画像データ、例えば磁気共鳴画像（MRI）のための基盤モデル開発における課題は、最先端アーキテクチャの高次元での計算複雑さと、十分な大規模データセットの作成にあります。これらの課題に対処するため、当研究ではRaptor（ランダム平面テンソル還元）を導入します。Raptorは、自然画像で事前学習された2D基盤モデルを活用し、医療ボリュームの個々の断面から視覚トークンを抽出します。これらのトークンはランダム投影によって空間的に圧縮され、計算複雑さを大幅に削減しながら豊富な意味情報を保持します。10種類の異なる医療ボリュームタスクに対する広範な実験により、Raptorが医療ボリューム専門で事前学習された最先端手法（+3 SuPreM, +6 MISFM, +10 Merlin, +13 VoCo, および +14 SLIViT）よりも優れた性能を示すことが確認されました。また、コストのかかる訓練プロセスを完全に回避しています。本研究成果は、Raptorが医療ボリューム向けの深層学習手法の進歩に貢献する基盤として有効かつ多様性を持つことを強調しています（コード: github.com/sriramlab/raptor）。