Reconstruction 3D des rayons X à vue rare avec prise en compte de la structure

Les rayons X, reconnus pour leur capacité à révéler les structures internes des objets, sont susceptibles de fournir des informations plus riches pour la reconstruction 3D que la lumière visible. Cependant, les algorithmes existants de champs de radiancé neuronaux (NeRF) négligent cette propriété importante des rayons X, ce qui limite leur efficacité dans la capture du contenu structurel des objets imagerisés. Dans cet article, nous proposons un cadre, Structure-Aware X-ray Neural Radiodensity Fields (SAX-NeRF), pour la reconstruction 3D aux rayons X avec un nombre limité de vues. Premièrement, nous concevons un Transformers basé sur des segments de ligne (Lineformer) comme le squelette de SAX-NeRF. Le Lineformer capture les structures internes des objets dans l'espace 3D en modélisant les dépendances au sein de chaque segment de ligne d'un rayon X. Deuxièmement, nous présentons une stratégie d'échantillonnage de rayons Masquée Locale-Globale (MLG) pour extraire des informations contextuelles et géométriques dans la projection 2D. En outre, nous avons constitué un ensemble de données plus vaste, X3D, couvrant une gamme plus large d'applications aux rayons X. Les expériences menées sur X3D montrent que SAX-NeRF dépasse les méthodes précédentes basées sur NeRF de 12,56 dB et 2,49 dB en synthèse d'images sous angles nouveaux et en reconstruction TDM (tomodensitométrie). Le code source, les modèles et les données sont disponibles à l'adresse suivante : https://github.com/caiyuanhao1998/SAX-NeRF