Command Palette

Search for a command to run...

6日前

LLMを用いた自動生成大規模データセットを活用した、指示に従う胸部X線画像における病変セグメンテーション

Geon Choi Hangyul Yoon Hyunju Shin Hyunki Park Sang Hoon Seo Eunho Yang Edward Choi

LLMを用いた自動生成大規模データセットを活用した、指示に従う胸部X線画像における病変セグメンテーション

要約

現在の胸部X線(CXR)画像における病変セグメンテーションモデルの適用性は、ターゲットラベルの数が少ないことと、長く詳細な専門家レベルのテキスト入力に依存していることから制限されており、実用化に向けた障壁となっている。こうした課題に対処するため、本研究では「インストラクション誘導型病変セグメンテーション(Instruction-guided Lesion Segmentation: ILS)」という新たなアプローチを提案する。このアプローチは、シンプルでユーザーにとって使いやすい指示に基づいて多様な病変タイプをセグメンテーションすることを目的としている。このフレームワークの下で、胸部X線画像とその対応するレポートから自動的にアノテーションを生成する完全自動化マルチモーダルパイプラインを用いて、CXR病変セグメンテーション向けの初の大規模インストラクション・アンサーデータセット「MIMIC-ILS」を構築した。MIMIC-ILSは、19.2万枚の画像と9.1万個の固有のセグメンテーションマスクから得られた110万件のインストラクション・アンサー対を含み、7つの主要な病変タイプをカバーしている。その実用性を実証するために、MIMIC-ILS上でファインチューニングされた視覚言語モデル「ROSAIA」を導入した。ROSAIAは、ユーザーからの指示に応じて多様な病変をセグメンテーションし、同時にテキストによる説明を提供できる。本研究で新たに提案したタスクにおいて、ROSAIAは高いセグメンテーション精度とテキスト的正確性を達成しており、本研究のパイプラインの有効性およびMIMIC-ILSがピクセルレベルのCXR病変の対応付け(grounding)に向けた基盤的リソースとしての価値を示している。

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
LLMを用いた自動生成大規模データセットを活用した、指示に従う胸部X線画像における病変セグメンテーション | 論文 | HyperAI超神経