초록
X선은 물체의 내부 구조를 드러내는 능력으로 알려져 있으며, 가시광보다 3D 재구성에 더 풍부한 정보를 제공할 것으로 기대됩니다. 그러나 기존의 신경 방사광 필드(NeRF) 알고리즘들은 이 중요한 X선의 특성을 간과하여, 이미징된 물체의 구조적 내용을 포착하는 데 한계가 있습니다. 본 논문에서는 희소 뷰 X선 3D 재구성을 위한 프레임워크인 구조 인식 X선 신경 방사밀도 필드(Structure-Aware X-ray Neural Radiodensity Fields, SAX-NeRF)를 제안합니다. 첫째, SAX-NeRF의 백본으로 선분 기반 트랜스포머(Line Segment-based Transformer, Lineformer)를 설계하였습니다. Lineformer는 각 X선의 선분 내에서 의존성을 모델링함으로써 3D 공간에서 물체의 내부 구조를 포착합니다. 둘째, 마스크된 로컬-글로벌(Masked Local-Global, MLG) 광선 샘플링 전략을 제시하여 2D 투영에서 문맥적 및 기하학적 정보를 추출합니다. 또한, 더 큰 규모의 데이터셋인 X3D를 수집하여 더 넓은 X선 응용 분야를 포함하였습니다. X3D 데이터셋에 대한 실험 결과, SAX-NeRF는 새로운 뷰 합성과 CT 재구성에서 이전 NeRF 기반 방법론들을 각각 12.56 dB와 2.49 dB만큼 초월하는 것으로 나타났습니다. 코드, 모델 및 데이터는 https://github.com/caiyuanhao1998/SAX-NeRF 에서 공개되었습니다.