胸部X線報告生成のための構造的エンティティ抽出と患者指示の組み込み

画像診断レポートの自動生成は、放射線科医の業務負荷軽減に極めて価値があることが証明されています。臨床的に適用可能なレポート生成アルゴリズムは、放射線所見を正確に記述し、患者固有の指示にも対応できる効果性を示す必要があります。本論文では、胸部X線レポート生成のために新しい手法である 構造的エンティティ抽出と患者指示統合 (Structural Entities extraction and patient indications Incorporation: SEI) を提案します。具体的には、構造的エンティティ抽出 (Structural Entities Extraction: SEE) アプローチを使用して、レポートからプレゼンテーション形式の語彙を排除し、事実的なエンティティシーケンスの品質を向上させます。これにより、X線画像とレポート内の事実的なエンティティシーケンスとのクロスモーダルアライメントモジュールにおけるノイズが減少し、クロスモーダルアライメントの精度が向上します。さらに、これによりモデルは勾配なしで類似した過去症例を検索する能力が強化されます。その後、X線画像、類似した過去症例、および患者固有の指示からの情報を統合するクロスモーダル融合ネットワークを提案します。このプロセスにより、テキストデコーダーはX線画像の識別的特徴に注目し、類似症例からの歴史的な診断情報を吸収し、患者の検査意図を理解することができます。これによってテキストデコーダーは高品質なレポートを生成するために活性化されます。MIMIC-CXRデータセットでの実験結果は、SEIが自然言語生成および臨床効果指標において最先端の手法よりも優れていることを示しています。