HyperAIHyperAI

Command Palette

Search for a command to run...

Raptor: Skalierbare trainingsfreie Einbettungen für 3D medizinische Volumen unter Verwendung vortrainierter 2D Grundmodelle

Ulzee An Moonseong Jeong Simon Austin Lee Aditya Gorla Yuzhe Yang Sriram Sankararaman

Abstract

Aktuelle Herausforderungen bei der Entwicklung von Grundmodellen für volumetrische Bilddaten, wie z.B. Magnetresonanztomografie (MRT), resultieren aus der rechnerischen Komplexität modernster Architekturen in hohen Dimensionen und der Erstellung hinreichend großer Datensätze von Volumenbildern. Um diese Herausforderungen zu bewältigen, stellen wir Raptor (Random Planar Tensor Reduction) vor, eine trainingsfreie Methode zur Generierung semantisch reicher Einbettungen für volumetrische Daten. Raptor nutzt ein gefrorenes 2D-Grundmodell, das auf natürlichen Bildern vortrainiert wurde, um visuelle Token aus einzelnen Querschnitten medizinischer Volumen zu extrahieren. Diese Token werden dann durch zufällige Projektionen räumlich komprimiert, was die rechnerische Komplexität erheblich reduziert, während gleichzeitig reichhaltige semantische Informationen beibehalten werden. Ausführliche Experimente anhand von 10 verschiedenen medizinischen Volumenaufgaben bestätigen die überlegene Leistungsfähigkeit von Raptor im Vergleich zu den neuesten Methoden, einschließlich solchen, die ausschließlich auf medizinischen Volumenbildern vortrainiert wurden (+3 SuPreM, +6 MISFM, +10 Merlin, +13 VoCo und +14 SLIViT), wobei das aufwendige Training vollständig umgangen wird. Unsere Ergebnisse unterstreichen die Effektivität und Vielseitigkeit von Raptor als Grundlage zur Weiterentwicklung tieflernbaser Methoden für medizinische Volumendaten (Code: github.com/sriramlab/raptor).


Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp