Multimodale Multi-Head-Faltungs-Attention mit verschiedenen Kernel-Größen für die medizinische Bild-Super-Resolution

Super-auflösende medizinische Bilder können Ärzten helfen, präzisere Diagnosen zu stellen. In vielen Fällen werden während einer einzigen Untersuchung mehrere Scans (Modi) mittels Computertomographie (CT) oder Magnetresonanztomographie (MRI) erfasst, die gemeinsam (multimodal) genutzt werden können, um die Qualität der Super-Resolution-Ergebnisse weiter zu verbessern. Dazu schlagen wir ein neuartiges multimodales Multi-Head-Konvolutionss-Attention-Modul zur Super-Resolution von CT- und MRI-Bildern vor. Unser Attention-Modul verwendet die Konvolution, um gemeinsame räumlich-kanalbasierte Aufmerksamkeit auf mehrere verkettete Eingabetensoren anzuwenden, wobei die Größe des Filters (Rezeptivfeldes) die Reduktionsrate der räumlichen Aufmerksamkeit steuert und die Anzahl der konvolutionellen Filter jeweils die Reduktionsrate der kanalbasierten Aufmerksamkeit bestimmt. Wir führen mehrere Attention-Heads ein, wobei jeder Head ein unterschiedliches Rezeptivfeld besitzt, das einer bestimmten Reduktionsrate für die räumliche Aufmerksamkeit entspricht. Wir integrieren unser multimodales Multi-Head-Konvolutionss-Attention-Modul (MMHCA) in zwei tiefe neuronale Architekturen für die Super-Resolution und führen Experimente auf drei Datensätzen durch. Unsere empirischen Ergebnisse zeigen die Überlegenheit unseres Attention-Moduls gegenüber den aktuell fortschrittlichsten Attention-Mechanismen in der Super-Resolution. Zudem führen wir eine Ablationsstudie durch, um die Auswirkung der einzelnen Komponenten unseres Attention-Moduls zu bewerten, beispielsweise die Anzahl der Eingaben oder die Anzahl der Heads. Unser Quellcode ist frei verfügbar unter https://github.com/lilygeorgescu/MHCA.