Struktur-bewusste dünnbesetzte Sicht X-ray 3D-Rekonstruktion

Die Röntgenstrahlung, bekannt für ihre Fähigkeit, die inneren Strukturen von Objekten zu enthüllen, wird erwartet, reichhaltigere Informationen für die 3D-Rekonstruktion bereitzustellen als sichtbares Licht. Dennoch ignorieren bestehende Algorithmen für neurale Radianzfelder (NeRF) diese wichtige Eigenschaft der Röntgenstrahlung, was zu Einschränkungen bei der Erfassung struktureller Inhalte von abgebildeten Objekten führt. In dieser Arbeit schlagen wir ein Framework vor, Structure-Aware X-ray Neural Radiodensity Fields (SAX-NeRF), für die 3D-Rekonstruktion mit dünnbesetzten Ansichten in Röntgenbildern. Zunächst entwickeln wir einen Liniensegmentbasierten Transformer (Lineformer) als Rückgrat des SAX-NeRF. Der Lineformer erfassen die inneren Strukturen von Objekten im 3D-Raum, indem er die Abhängigkeiten innerhalb jedes Liniensegments eines Röntgenbildes modelliert. Zweitens präsentieren wir eine Maskierte Lokal-Globale (MLG) Strahlauswahlsstrategie, um kontextuelle und geometrische Informationen in der 2D-Projektion zu extrahieren. Darüber hinaus sammeln wir einen umfangreicheren Datensatz X3D, der eine breitere Anwendung von Röntgenbildern abdeckt. Experimente auf X3D zeigen, dass SAX-NeRF bei der Synthese neuer Ansichten und der CT-Rekonstruktion frühere NeRF-basierte Methoden um 12,56 und 2,49 dB übertrifft. Der Quellcode, die Modelle und die Daten werden unter https://github.com/caiyuanhao1998/SAX-NeRF veröffentlicht.