3D Medizinischer Point Transformer: Einführung von Faltung in Aufmerksamkeitsnetzwerke für die Analyse medizinischer Punktwolken

Allgemeine Punktwolken werden zunehmend für verschiedene Aufgaben untersucht, und kürzlich wurden Transformer-basierte Netzwerke für die Analyse von Punktwolken vorgeschlagen. Es gibt jedoch kaum verwandte Arbeiten zu medizinischen Punktwolken, die für die Erkennung und Behandlung von Krankheiten von großer Bedeutung sind. In dieser Arbeit schlagen wir ein aufmerksamkeitsbasiertes Modell speziell für medizinische Punktwolken vor, nämlich den 3D-medizinischen Punktwolken-Transformer (3DMedPT), um komplexe biologische Strukturen zu untersuchen. Durch das Ergänzen kontextueller Informationen und das Zusammenfassen lokaler Reaktionen bei der Abfrage kann unser Aufmerksamkeitsmodul sowohl lokale Kontexte als auch globale Inhaltsmerkmalsinteraktionen erfassen. Die unzureichende Anzahl von Trainingsdatensätzen in medizinischen Daten könnte jedoch zu einem schlechten Merkmalslernen führen. Deshalb wenden wir Positionsembeddings an, um eine genaue lokale Geometrie zu lernen, und Multi-Graph Reasoning (MGR) zur Untersuchung der globalen Wissensverbreitung über Kanalgraphen, um die Merkmalsrepräsentationen zu bereichern. Experimente mit dem IntrA-Datensatz beweisen die Überlegenheit des 3DMedPT, bei denen wir die besten Klassifikations- und Segmentierungsergebnisse erzielen. Darüber hinaus wird die vielversprechende Generalisierungsfähigkeit unserer Methode an allgemeinen 3D-Punktwolken-Benchmarks wie ModelNet40 und ShapeNetPart validiert. Der Code wurde veröffentlicht.