Raptor : Embeddings évolutifs sans entraînement pour des volumes médicaux 3D en exploitant des modèles préentraînés 2D

Les défis actuels dans le développement de modèles fondamentaux pour les données d'imagerie volumique, telles que l'imagerie par résonance magnétique (IRM), proviennent de la complexité computationnelle des architectures de pointe en haute dimension et de la constitution de jeux de données volumiques suffisamment importants. Pour relever ces défis, nous présentons Raptor (Réduction Tensorielle Planaire Aléatoire), une méthode sans apprentissage pour générer des plongements sémantiquement riches à partir de données volumiques. Raptor utilise un modèle fondamental 2D figé, pré-entraîné sur des images naturelles, pour extraire des jetons visuels à partir des sections transversales individuelles des volumes médicaux. Ces jetons sont ensuite compressés spatialement à l'aide de projections aléatoires, ce qui réduit considérablement la complexité computationnelle tout en conservant des informations sémantiques riches. Des expériences approfondies menées sur 10 tâches diverses d'imagerie médicale volumique ont vérifié la supériorité des performances de Raptor par rapport aux méthodes de pointe, y compris celles pré-entraînées exclusivement sur des volumes médicaux (+3 SuPreM, +6 MISFM, +10 Merlin, +13 VoCo et +14 SLIViT), tout en évitant complètement le besoin d'un entraînement coûteux. Nos résultats soulignent l'efficacité et la polyvalence de Raptor comme base pour faire progresser les méthodes basées sur l'apprentissage profond pour les volumes médicaux (code : github.com/sriramlab/raptor).