Ulzee An Moonseong Jeong Simon Austin Lee Aditya Gorla Yuzhe Yang Sriram Sankararaman

Abstract

Aktuelle Herausforderungen bei der Entwicklung von Grundmodellen für volumetrische Bilddaten, wie z.B. Magnetresonanztomografie (MRT), resultieren aus der rechnerischen Komplexität modernster Architekturen in hohen Dimensionen und der Erstellung hinreichend großer Datensätze von Volumenbildern. Um diese Herausforderungen zu bewältigen, stellen wir Raptor (Random Planar Tensor Reduction) vor, eine trainingsfreie Methode zur Generierung semantisch reicher Einbettungen für volumetrische Daten. Raptor nutzt ein gefrorenes 2D-Grundmodell, das auf natürlichen Bildern vortrainiert wurde, um visuelle Token aus einzelnen Querschnitten medizinischer Volumen zu extrahieren. Diese Token werden dann durch zufällige Projektionen räumlich komprimiert, was die rechnerische Komplexität erheblich reduziert, während gleichzeitig reichhaltige semantische Informationen beibehalten werden. Ausführliche Experimente anhand von 10 verschiedenen medizinischen Volumenaufgaben bestätigen die überlegene Leistungsfähigkeit von Raptor im Vergleich zu den neuesten Methoden, einschließlich solchen, die ausschließlich auf medizinischen Volumenbildern vortrainiert wurden (+3 SuPreM, +6 MISFM, +10 Merlin, +13 VoCo und +14 SLIViT), wobei das aufwendige Training vollständig umgangen wird. Unsere Ergebnisse unterstreichen die Effektivität und Vielseitigkeit von Raptor als Grundlage zur Weiterentwicklung tieflernbaser Methoden für medizinische Volumendaten (Code: github.com/sriramlab/raptor).