흉부 X선 보고서 생성을 위한 구조적 실체 추출 및 환자 증상 통합

영상 보고서의 자동 생성은 방사선과 의사들의 업무 부담을 크게 완화하는 데 매우 유용합니다. 임상적으로 적용 가능한 보고서 생성 알고리즘은 방사선학적 소견을 정확히 설명하고 환자 개별 증상을 고려할 수 있는 효율성을 입증해야 합니다. 본 논문에서는 흉부 X선 영상 보고서 생성을 위한 새로운 방법, \textbf{S}tructural \textbf{E}ntities 추출 및 환자 증상 통합(SEI)를 소개합니다. 구체적으로, 우리는 구조적 실체 추출(Structural Entities Extraction, SEE) 접근법을 사용하여 보고서에서 표현 스타일의 어휘를 제거하고 사실적 실체 시퀀스의 품질을 개선합니다. 이는 X선 영상과 보고서의 사실적 실체 시퀀스를 맞춤으로써 후속 다중 모달 정렬 모듈에서 발생하는 노이즈를 줄여, 다중 모달 정렬의 정밀도를 향상시키며 유사한 과거 사례들을 그래디언트 없이 검색하는 데 도움을 줍니다. 이후, 우리는 X선 영상, 유사한 과거 사례, 그리고 환자 개별 증상에서 정보를 통합하기 위한 다중 모달 융합 네트워크(Cross-Modal Fusion Network)를 제안합니다. 이 과정은 텍스트 디코더가 X선 영상의 차별적인 특징에 주목하고 유사한 사례들로부터 역사적인 진단 정보를 통합하며 환자의 검사 의도를 이해할 수 있도록 합니다. 이를 통해 텍스트 디코더는 고품질의 보고서 생성을 촉진합니다. MIMIC-CXR 데이터셋에서 수행된 실험 결과는 SEI가 자연어 생성 및 임상 효과성 지표 모두에서 최신 기술보다 우수함을 입증하였습니다.