Ulzee An Moonseong Jeong Simon Austin Lee Aditya Gorla Yuzhe Yang Sriram Sankararaman

摘要

当前在开发用于体素成像数据（如磁共振成像（MRI））的基础模型时，面临的挑战主要来自于高维度下先进架构的计算复杂性和构建足够大的体素数据集。为了解决这些挑战，我们引入了一种无需训练的方法——Raptor（随机平面张量约简），该方法可以生成富含语义的体素数据嵌入。Raptor 利用一个预先在自然图像上训练好的冻结二维基础模型，从医学体素的各个横截面中提取视觉标记。然后，通过随机投影对这些标记进行空间压缩，显著降低了计算复杂度，同时保留了丰富的语义信息。我们在 10 个不同的医学体素任务上进行了广泛的实验，验证了 Raptor 在性能上优于现有方法，包括那些仅在医学体素上预训练的方法（+3 SuPreM、+6 MISFM、+10 Merlin、+13 VoCo 和 +14 SLIViT），并且完全避免了昂贵的训练过程。我们的结果突显了 Raptor 作为推进基于深度学习的医学体素方法的基础的有效性和多功能性（代码：github.com/sriramlab/raptor）。