HistGen: 局所-全局特徴符号化とクロスモーダルコンテキスト相互作用を用いた組織病理学報告書生成

組織病理学はがん診断の金標準として機能し、臨床報告がこのプロセスの解釈と理解において極めて重要であり、がん治療や患者ケアを導く役割を果たしています。深層学習を用いた組織病理学報告書生成の自動化は、臨床効率を大幅に向上させ、病理医の報告書作成における労力集約的で時間のかかる負担を軽減する可能性があります。この進歩を目指して、私たちはHistGen（ヒストジェン）という多様体学習を活用した組織病理学報告書生成フレームワークと評価用の最初のベンチマークデータセットを紹介します。診断と報告書作成のワークフローに着想を得て、HistGenは全体像と局所的な詳細からスライド画像（WSIs）と診断報告書との整合性を高めるために、慎重に設計された2つのモジュールを持っています。これを実現するために、地域からスライドまでの視覚的特徴量を集約するためのローカル-グローバル階層エンコーダーが開発されました。さらに、異なるモダリティ間での明確な整合性と相互作用を促進するクロスモーダルコンテキストモジュールが提案され、WSIsの広範な視覚シーケンスと対応する要約された報告書の間にあるギャップを効果的に埋めています。WSI報告書生成に関する実験結果では、提案モデルが最先端（SOTA）モデルよりも大幅に優れていることが示されています。また、当モデルをがんサブタイプ分類や生存分析タスクに対して微調整した結果も、SOTA手法よりも優れた性能を示しており、強力な転移学習能力を持つことを証明しています。データセット、モデルの重みパラメータ、およびソースコードはhttps://github.com/dddavid4real/HistGenで利用可能です。