X射线以其能够揭示物体内部结构的能力而著称，预计在三维重建中比可见光提供更丰富的信息。然而，现有的神经辐射场（NeRF）算法忽视了X射线这一重要特性，导致其在捕捉成像物体的结构内容方面存在局限性。本文提出了一种框架——结构感知X射线神经辐射密度场（SAX-NeRF），用于稀疏视角下的X射线三维重建。首先，我们设计了一种基于线段的Transformer（Lineformer）作为SAX-NeRF的骨干网络。Lineformer通过建模每个X射线线段内的依赖关系来捕捉物体在三维空间中的内部结构。其次，我们提出了一种掩码局部-全局（MLG）光线采样策略，以提取二维投影中的上下文和几何信息。此外，我们收集了一个更大规模的数据集X3D，涵盖了更广泛的X射线应用。在X3D数据集上的实验表明，SAX-NeRF在新视图合成和CT重建方面分别超越了之前的NeRF方法12.56 dB和2.49 dB。代码、模型和数据已发布在https://github.com/caiyuanhao1998/SAX-NeRF