世界初！清華大学と上海交通大学などが共同で糖尿病の診断と治療のためのビジュアルラージ言語モデルを構築、Natureサブジャーナルに掲載
糖尿病は、世界で最も急速に増加している主要な慢性疾患であり、失明、腎不全、切断、脳卒中、心筋梗塞などを引き起こす可能性があり、腫瘍感染症とも密接に関係しています。中でも、糖尿病性網膜症（DR）は、糖尿病患者において最も一般的な進行性の眼微小血管合併症です。30-40% の糖尿病患者に影響を与える可能性があります。
さらに、DR の存在は他の合併症 (腎臓、心臓、脳など) のリスク増加も予測するため、定期的な DR スクリーニングが糖尿病の一次治療の重要な部分として推奨されています。しかし、インフラや人材の不足、コストの高騰などにより、低所得国および中所得国では、DR のスクリーニングが無視されることがよくあります。
近年、人工知能、特にディープラーニングは、糖尿病とその合併症の管理においてますます重要な役割を果たしています。しかし、これまでのソリューションは、糖尿病合併症のスクリーニングや補助的な管理という 1 つの領域に焦点を当てていることが多く、これら 2 つの重要な側面を同時に統合することはほとんどありませんでした。糖尿病の診断と治療に関する意見の自動生成を、糖尿病性眼合併症の正確な診断と効果的に統合し、草の根の医師がワンストップの補助診断と治療サービスを達成できるようにサポートする安全で制御可能なマルチモーダル インテリジェント モデルを構築する方法は、次のとおりです。国際医療分野における現在の最先端の動向と重要な課題。
これに関連して、清華大学副教授兼医学部長のHuang Tianyin教授のチーム、上海交通大学電気工学部コンピュータサイエンス学科/人工知能重点研究室のSheng Bin教授のチーム教育省の賈偉平教授、上海交通大学医学部付属第六人民病院の賈偉平教授、李華亭教授のチーム、シンガポール国立大学、シンガポール国立眼科の秦玉宗教授のチームセンターが協力して取り組んだのは、世界初の糖尿病診断・治療用ビジュアルラージ言語モデル統合システムDeepDR-LLMの構築に成功。
関連する研究結果は、「糖尿病の一次ケアのための統合された画像ベースの深層学習と言語モデル」というタイトルで Nature Medicine に掲載されました。
DeepDR-LLM システムは、大規模な言語モデルと眼底画像に基づくディープラーニング技術を組み合わせて、プライマリケア医師にパーソナライズされた糖尿病管理の意見と糖尿病性網膜症の補助診断結果を提供します。このシステムは、アジア、アフリカ、ヨーロッパの主要 3 地域と 7 か国を対象とする多施設コホートで遡及的に検証されました。また、中国の一次医療シナリオに関する前向きの現実世界の研究と検証を通じて、糖尿病ケアの垂直分野におけるマルチモーダル大規模モデルの適用効果について、質の高い科学的根拠に基づいた証拠が初めて提供される。 DeepDR-LLM システムは、低・中所得国における草の根の糖尿病管理と DR スクリーニングを大幅に改善し、将来の世界的な糖尿病管理に革新的なデジタル ソリューションを提供すると期待されています。
研究のハイライト:
※本研究は、融合アダプタ（Adaptor）と低ランク適応（LoRA）の協調最適化技術を革新的に提案するものです。
* DeepDR-Transformer モジュールは、500,000 を超える眼底画像をトレーニングするための Transformer モデル アーキテクチャを導入し、眼底画像品質の検出、病変のセグメンテーション、および DR グレードの診断を正確に実現します。
* DeepDR-LLM システムを糖尿病の診断および治療プロセスに組み込むと、新規発症糖尿病患者の自己管理行動が大幅に改善され、DR 患者の紹介コンプライアンスが向上します。
用紙のアドレス:
https://www.nature.com/articles/s41591-024-03139-8
公式アカウントをフォローし、バックグラウンドで「糖尿病の診断と治療 LLM」に返信すると、全文の PDF が表示されます
データセットのダウンロードアドレス:
オープンソース プロジェクト「awesome-ai4s」は、100 を超える AI4S 論文の解釈をまとめ、大規模なデータ セットとツールを提供します。
https://github.com/hyperai/awesome-ai4s
データセット: 14 の独立した断面データセット
この研究には 14 の独立した断面データセットが含まれていました。糖尿病患者の 7 つの標準眼底画像と、ポータブル眼底画像の 7 つの独立した断面データセットが含まれています。標準的な眼底画像のデータセットについては、DeepDR-Transformer モジュールの開発と内部検証に 2 つのデータセット、つまり上海統合モデル (SIM) コホートと上海糖尿病予防プログラム (SDPP) コホートが使用されました。
また、この研究では、外部検証のために 12 の多民族データセットも選択されました。それらは次のとおりです: ニース市糖尿病スクリーニングプロジェクト (NDSP) コホート、糖尿病網膜症進行研究 (DRPS) コホート、武漢同済健康管理 (WTHM) コホート、北京連合医科大学糖尿病管理 (PUDM) コホート、中国国家糖尿病合併症研究 (CNDCS) ) コホート、広州糖尿病性眼病研究 (GDES) コホート、香港中文大学-視力脅威糖尿病性網膜症 (CUHK-STD) コホート、シンガポール眼疾患疫学研究 (SEED) コホート、シンガポール国家糖尿病網膜症スクリーニング プログラム (SiDRP) ) ) コホート、サンカラネスラ糖尿病性網膜症疫学および分子遺伝学研究 (SN-DREAMS) コホート、タイ国家糖尿病網膜症スクリーニング プログラム (TNDRSP) コホート、および英国バイオバンク (UKB) コホート。
追加の 6 つのデータセットが外部検証に使用されます。中国ポータブル糖尿病網膜症スクリーニング研究-東部（CPSSDRE）コホート、中国ポータブル糖尿病網膜症スクリーニング研究-中型（CPSSDRM）コホート、中国ポータブル糖尿病網膜症スクリーニング研究-西部（CPSSDRW）コホート、中国ポータブル糖尿病網膜症スクリーニング研究-西部（CPSSDRW）コホート、中国ポータブル糖尿病性網膜症スクリーニング研究-中期（CPSSDRM）コホート スクリーニング研究-北東部（CPSSDRN）コホート、アルジェリア糖尿病性網膜症研究（ADRS）コホート、およびウズベキスタン糖尿病性網膜症研究（UDRS）コホート。
CPSSDRE、CPSSDRM、CPSSDRW、および CPSSDRN コホートは、Phoebusmed 支援の現実世界 DR スクリーニング プロジェクトから派生しました。 ADRS および UDRS データセットでは、それぞれアルジェリアとウズベキスタンの地域で参加者が募集され、Canon、Topcon、Carl Zeiss、Optomed、MicroClear のさまざまなデスクトップおよびハンドヘルド眼底カメラを使用して眼底画像が撮影されました。
モデル アーキテクチャ: LLM と DeepDR-Transformer は、DeepDR-LLM を構成する 2 つの主要なモジュールです
DeepDR-LLM システムは、次の図に示すように 2 つのモジュールで構成されています。
* モジュール I (LLM モジュール)、糖尿病患者に個別の管理アドバイスを提供する。
* モジュール II (DeepDR-Transformer モジュール)、標準またはポータブル眼底画像からの画質評価、病変セグメンテーション、および DR グレーディング。
LLM モジュールの監視付き微調整
まず、研究者らはLLaMAを微調整してLLMモジュールを開発した。
モジュール I は、病歴、身体検査、臨床検査、DR および DME の診断結果などのさまざまな臨床メタデータに基づいて糖尿病管理の推奨事項を策定するように設計された、ドメイン知識を強化した LLM モデルです。ドメイン固有の知識が不足しているため、最初の LLM (つまり、LLaMA) は、糖尿病管理の推奨事項を生成するのに直接効果的ではありません。
このギャップを考えると、研究者らは、糖尿病管理関連の知識をLLMのトレーニングプロセスに統合するための教師付き微調整方法を開発した。このアプローチでは、基礎となる LLM に必要なドメイン知識を追加することで、糖尿病管理に関する推奨事項を生成するモデルの機能を強化できます。教師付き微調整用のデータセットは、上海第六人民病院と華東養護院の参加者 267,730 人から遡及的に取得した 371,763 組の臨床データと、現実世界からの管理上の推奨事項であり、収集後に匿名化されました。
LLM の微調整中にすべてのパラメーター (つまり、LLM の元の重み) が更新されるため、効率の点では明らかに最適ではありません。科学研究チームは、融合アダプター（Adaptor）と低ランク適応（LoRA）の協調最適化技術を革新的に提案した。DeepDR-LLM マルチモーダル大規模モデルが構築され、LLaMA を含む大規模言語モデルに適応できます。LLM モジュールは、トレーニング ネットワーク層を大規模言語モデルの固有の重みパラメーターと統合して、マルチモーダル モデルを突破します。動的な大規模モデルの最適化のボトルネックとなる、低いコンピューティング能力リソースの制約。
DeepDR-Transformerモジュールの開発とトレーニング
モジュール II は、DR 予測のために眼底画像を分析するためのモジュール I のツールとして使用できます。研究者らは、DeepDR-Transformer と呼ばれる独立したモデルを提案しました。モデルは特定のタスクに合わせて微調整して、眼底画像からさまざまな特徴を抽出できます。
研究者らは、標準的な眼底画像を使用して、画質評価モデル (評価可能性の決定)、DR グレード予測モデル、DME 予測モデル (存在または非存在の決定)、および病変セグメンテーション モデル (微小動脈瘤、出血、綿花) の 4 つのタスクで DeepDR-Transformer をトレーニングしました。羊毛の斑点と硬い滲出液）。研究者らはモデルごとに、事前にトレーニングされた重みを ImageNet からロードし、その後エンドツーエンドの微調整を実行しました。
統合モジュール I とモジュール II
DeepDR-LLM システムには、統合モジュール I とモジュール II の 2 つのモードがあります。
医師を巻き込んだ統合モデルで、モジュール II の出力 (すなわち、眼底画像の勾配性、微小動脈瘤、綿ウールの斑点、硬性浸出液、および出血の病変セグメンテーション、DR グレード、および DME グレード) は、医師が DR/DME 診断結果 (すなわち、眼底画像の勾配性) を生成する際に役立ちます。 、DRグレード、DMEグレードおよび病変の有無）。
自動化統合モードでは、DR/DME 診断結果には、モジュール II で分類された眼底画像のグレーディング、DR グレーディング、DME グレーディング、およびモジュール II でセグメント化された病変の有無が含まれます。これらの DR/DME 診断結果とその他の臨床メタデータは、パーソナリティを生成するためにモジュール I に入力されます。糖尿病患者への管理提案。
研究結果：DeepDR-LLMシステムは草の根のDRスクリーニング能力と糖尿病の診断と治療レベルを向上させることができる
研究チームは、香港中文大学のジュリアナ・CN・チャン教授、上海交通大学医学部第六人民病院のバオ・ユーチアン教授、オーストラリアのベーカー心臓病・糖尿病研究所のジョナサン・E・ショー教授、米国のジョンズ・ホプキンス大学のジャスティン・B.教授、シンガポール国立眼科センターのギャビン・シュー・ウェイ・タン教授、およびその他の糖尿病関連分野の著名な学者が国際的な学際的専門家委員会を結成しました。
専門委員会は、中国の31の省と自治区を対象とする中国糖尿病慢性合併症研究コホートから100の症例サンプルを無作為に選択し、各症例の診断と治療に関するコンセンサスを形成し、これをDeepDR-LLMを評価するための標準回答として使用した。システムおよびプライマリケア医師 (PCP) が提供した診断および治療に関する意見は盲目的に採点されました。
まず、中国語と英語で糖尿病管理に関する推奨事項を提供する DeepDR-LLM システムの機能について、以下の図は、4 つの異なる方法 (DeepDR-LLM、LLaMA、PCP、レジデント) によって生成された糖尿病管理推奨事項の評価結果を、英語と中国語で、不適切な内容 (不適切な内容の程度)、欠落している内容 (不適切な内容の程度) の 3 つの異なる領域でまとめたものです。コンテンツが欠落している）と損害の可能性（損害が発生する可能性）。
英語で、71% の DeepDR-LLM 推奨事項には不適切なコンテンツが含まれていないと見なされ、LLaMA (51%) よりも高いものの、PCP (71%) に匹敵します。さらに、36% の DeepDR-LLM プロポーザルには欠落したコンテンツはないと考えられます (PCP: 27%)。最後に、57% に対する DeepDR-LLM 推奨事項は、危害を引き起こす可能性が「低い」と評価されており、これは PCP の 55% と同等です。
中国語では、77% の DeepDR-LLM 推奨事項には不適切なコンテンツが含まれていないと判断され、LLaMA (66%) および PCP (54%) の推奨事項よりも高くなっています。さらに、63% の DeepDR-LLM プロポーザルには欠落したコンテンツはないと考えられますが、PCP は 46% です。 88% に対する DeepDR-LLM の推奨事項は危害の「可能性が低い」と評価されていますが、PCP は 60% に対するものです。
以下のグラフは、4 つの異なる方法で生成された管理推奨事項の全体スコア (ドメイン固有のスコアの合計として定義) を示しています。英語で、DeepDR-LLM は LLaMA よりも有意に優れた管理推奨を示し (P < 0.001)、PCP や内分泌科研修医と同等でした。
中国語では、DeepDR-LLM は、LLaMA (P < 0.001) および PCP (P = 0.010) よりも有意に優れた管理推奨を示しましたが、内分泌科研修医と同等でした。言い換えると、DeepDR-LLMシステムが出力する診断・治療意見の質は、主治医と同等以上です。
その後、研究者らは北京、上海、広州、武漢、香港などの中国の都市と、シンガポール、インド、タイ、英国、アルジェリア、ウズベキスタンを含む6カ国の50万枚以上の眼底画像も使用して外部テストを実施した。 DeepDR-LLM システムのテスト。
紹介可能な DR を特定する際に、PCP および医師ではないプロの採点者 (英国、シンガポール、ベトナムなどの多くの DR スクリーニング プログラムで現在使用されている) の補助としての DeepDR-Transformer の有効性を評価する。研究者らは、DeepDR-Transformer モジュールの支援の有無にかかわらず、分類プロセスの精度と時間効率を評価しました。以下に示すように:
結果は、支援なしの PCP の感度範囲は 37.2% ～ 81.6% であり、DeepDR-Transformer の支援により、その範囲は 78.0% ～ 98.4% に増加することを示しています。同様に、特異性も元の 84.4% ～ 94.8% (スポンサーなし) から 90.4% ～ 98.8% (スポンサーあり) に向上しました。
さらに、DeepDR-Transformer の支援により、評価に必要な時間の中央値は片目あたり 14.66 秒から 11.31 秒に短縮されました——これは、このシステムが DR グレーディングの精度と効率を大幅に向上させ、その診断能力がプロの眼科医のレベルにまで達していることを示しています。
さらに、研究チームは、統合された DeepDR-LLM システムを実際の臨床プロセスに適用し、769 人の中国の草の根糖尿病患者を追跡する前向き研究を実施し、DeepDR-LLM システムが糖尿病の診断と治療のプロセスに組み込まれた後、糖尿病患者の自己管理行動が大幅に改善され、DR 患者の紹介コンプライアンスが向上します。
アジアの知恵をインテリジェントな糖尿病管理に貢献
今日、糖尿病の有病率の上昇は、中国および世界中の公衆衛生に大きな課題を引き起こしています。人工知能、特にディープラーニングは、糖尿病と合併症の管理の分野でますます重要な役割を果たしている - 前述の清華大学チーム、上海交通大学チーム、シンガポール国立大学、シンガポール国立眼科センターチームの専門家らは、長年にわたってこの方向に取り組んできました。
2017年、当時シンガポール国立眼科センターのメディカルディレクターだったファン・ティアンイン教授と彼のチームは、これは、深層学習アルゴリズムに基づいて、多民族集団における中等度から重度の DR ケースを自動的に診断する世界初の製品です。この結果は JAMA に掲載されました。これはスマート医療開発の歴史における画期的な出来事です。
2018年、上海交通大学電子情報電気工学院のJia Weiping教授とLi Huating教授のチームとSheng Bin教授のチームは、医療と工学を超えた共同イノベーションを実施し、国際トップレベルの企業とも連携した。シンガポール国立眼科センターなどの学術機関が、上海市科学技術委員会や上海交通大学の下で研究を実施するため、大学の支援を受けて、上海一帯一路知能予防共同研究所の設立が承認された。代謝関連疾患の制御は、代謝関連疾患のインテリジェントな予防と治療の分野で広範な医工学横断と国際協力の実施に取り組んでいます。
共同研究所は設立以来、数百万件のデータを分析してきました。転送強化型マルチタスク深層学習システム DeepDR を開発し、軽度病変から増殖性病変までの DR の全過程の自動診断を実現し、眼底画像の品質と眼底病変の識別とセグメンテーションに関するリアルタイムのフィードバックを提供します。この技術は、国際糖尿病連合の「世界糖尿病性網膜症における世界糖尿病性網膜症の診断」でも使用されています。低中所得国「スクリーニングプロジェクト」は48か国に拡大されました。 。
この結果は「疾患範囲全体で糖尿病性網膜症を検出するための深層学習システム」と題され、2021年にNature Communications誌に掲載された。
* 論文リンク:
https://www.nature.com/articles/s41467-021-23458-5
2021年末、Huang Tianyin教授は清華大学の主任教授兼医学科目リーダーとして採用され、糖尿病や眼疾患の合併症の診断と治療を可能にする人工知能に関するトランスレーショナル研究を積極的に実施した。継続的な共同研究を通じて、共同研究室と清華大学の黄天銀教授のチームは、ワイブル混合分散モデルに基づく深層学習システムである DeepDR Plus の構築に成功しました。これは、米国の Google チームによるこの分野のこれまでの最先端技術を上回りました。リスク警告と最長 5 年間の進行予測を達成した世界初の研究結果は、スクリーニング頻度と公衆衛生コストを大幅に削減しながら、極めて低い診断率を維持できます。
クリックして詳細レポートを表示: 上海交通大学と清華大学は、眼底画像のみを使用して 5 年以内の糖尿病性網膜症の進行を予測できる DeepDR Plus を共同リリースしました。
総じて、DeepDR-LLM の誕生は、これまでの研究成果の「最高傑作」と言えます。研究者らは人間本位とインテリジェンス・フォー・グッドの概念を堅持し、草の根の糖尿病管理における将来の変化に向けた質の高い証拠に基づく基礎を提供し、世界の糖尿病ガバナンスをデジタル、インテリジェント、グリーンのトレンドにうまく統合できるようにし、社会に貢献します。インテリジェントな糖尿病管理のためのアジアの知恵。
参考文献:
1.https://mp.weixin.qq.com/s/MBtm0hY0gKE8NRQ8GfDy7A
2.https://www.nsfc.gov.cn/csc/20340/20343/68143/index.html
3.https://www.tsinghua.edu.cn/info/1182/112946.htm