HyperAIHyperAI

Command Palette

Search for a command to run...

Multimodale Multi-Head-Faltungs-Attention mit verschiedenen Kernel-Größen für die medizinische Bild-Super-Resolution

Mariana-Iuliana Georgescu Radu Tudor Ionescu Andreea-Iuliana Miron Olivian Savencu Nicolae-Catalin Ristea Nicolae Verga Fahad Shahbaz Khan

Zusammenfassung

Super-auflösende medizinische Bilder können Ärzten helfen, präzisere Diagnosen zu stellen. In vielen Fällen werden während einer einzigen Untersuchung mehrere Scans (Modi) mittels Computertomographie (CT) oder Magnetresonanztomographie (MRI) erfasst, die gemeinsam (multimodal) genutzt werden können, um die Qualität der Super-Resolution-Ergebnisse weiter zu verbessern. Dazu schlagen wir ein neuartiges multimodales Multi-Head-Konvolutionss-Attention-Modul zur Super-Resolution von CT- und MRI-Bildern vor. Unser Attention-Modul verwendet die Konvolution, um gemeinsame räumlich-kanalbasierte Aufmerksamkeit auf mehrere verkettete Eingabetensoren anzuwenden, wobei die Größe des Filters (Rezeptivfeldes) die Reduktionsrate der räumlichen Aufmerksamkeit steuert und die Anzahl der konvolutionellen Filter jeweils die Reduktionsrate der kanalbasierten Aufmerksamkeit bestimmt. Wir führen mehrere Attention-Heads ein, wobei jeder Head ein unterschiedliches Rezeptivfeld besitzt, das einer bestimmten Reduktionsrate für die räumliche Aufmerksamkeit entspricht. Wir integrieren unser multimodales Multi-Head-Konvolutionss-Attention-Modul (MMHCA) in zwei tiefe neuronale Architekturen für die Super-Resolution und führen Experimente auf drei Datensätzen durch. Unsere empirischen Ergebnisse zeigen die Überlegenheit unseres Attention-Moduls gegenüber den aktuell fortschrittlichsten Attention-Mechanismen in der Super-Resolution. Zudem führen wir eine Ablationsstudie durch, um die Auswirkung der einzelnen Komponenten unseres Attention-Moduls zu bewerten, beispielsweise die Anzahl der Eingaben oder die Anzahl der Heads. Unser Quellcode ist frei verfügbar unter https://github.com/lilygeorgescu/MHCA.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Multimodale Multi-Head-Faltungs-Attention mit verschiedenen Kernel-Größen für die medizinische Bild-Super-Resolution | Paper | HyperAI