CVPR 2025に選出された上海AIラボらは、11のデータセットでSOTAを達成した初のフルモダリティ医療画像再識別フレームワークを提案した。
AI を活用した医療画像管理の分野において、医療画像再識別 (MedReID) は、異なるモダリティや異なる時期の患者の画像データを自動的に関連付け、個別化された診断と治療のための強力なデータサポートを提供することを目的とした重要な技術です。しかし、この領域はほとんど調査されていません。従来の方法は主に低レベルの画像特徴や手動で管理されるメタデータに依存しており、大量のマルチモーダル画像を正確に一致させるという臨床ニーズを満たすのは困難です。
この課題に対処するために、上海人工知能研究所は、いくつかの有名な大学と共同で、MaMI（モダリティ適応型医療識別子）モデルを提案しました。これは、連続的なモダリティパラメータアダプタを導入することで従来の単一モダリティの制限を打ち破り、実行時に統合モデルを現在の入力（X線、CT、眼底、病理、MRIなど）に適したモダリティ固有のモデルに自動的に調整できる新しい医用画像再識別方法です。
この戦略により、MaMI は 11 の公開医用画像データセットの評価において最先端の再識別パフォーマンスを実証し、パーソナライズ医療のための正確で動的な過去の画像データ取得サポートを提供しています。
用紙のアドレス:
https://arxiv.org/pdf/2503.08173
コードとモデルのオープンソースアドレス:
https://github.com/tianyuan168326/All-in-One-MedReID-Pytorch
研究のハイライト
オールインワン医療再IDモデル（MaMI）を提案する
研究チームは初めて、複数モダリティの医療画像の再識別問題を統一的に処理できるモデルを構築し、単一のモデルで異なるモダリティ（X線、CT、眼底、病理、MRIなど）の画像認識を実現しました。
包括的な医療再IDベンチマークの構築
研究チームは、複数の画像診断法とさまざまな臓器を網羅した 11 の公開医用画像データセットに基づいて包括的かつ公平なベンチマークを構築し、この問題に関するその後の研究のための標準化された評価プラットフォームを提供しました。
連続モーダルパラメータアダプタの設計（ComPA）
研究チームは、入力画像に基づいてモーダル固有のパラメータを動的に生成し、元のモーダル非依存モデルを現在の入力特性に適応するモーダル固有のモデルに調整できる連続モーダルパラメータアダプタを革新的に提案しました。
医学的予備知識を統合する
研究チームは、画像間の差異をモデル化することで、事前トレーニング済みの医療基本モデルの豊富な医療事前知識を再識別タスクに転送し、微妙な身元の手がかりを捉えるモデルの能力を効果的に向上させました。
実際のシナリオでアプリケーションの価値を検証する
* 履歴データ支援診断：MaMI は、整理されていない過去の画像データから患者個人に関する情報を取得できるため、既存の医療検査の精度が大幅に向上します。
* プライバシー保護: MaMI は画像内の微妙な識別情報を検出し、データが共有される前に自動的に削除することで、患者のプライバシーを保護しながら必要な医療情報を維持します。
モデルアーキテクチャ:連続モードに基づくパラメータアダプタの導入
医療画像管理の分野には、過去の画像管理とプライバシー保護という 2 つの大きな課題があります。
初め、従来の方法は主に、画像と患者のメタデータ（名前、医療記録番号など）を手動で事前にリンクし、クエリ システムを通じて画像を取得することに頼っています。しかし、データが異なるPACSプラットフォームに保存されている場合、このようなリンクは不完全または不正確であることが多く、効率的に管理することが困難です。したがって、病気の診断に信頼できる病歴証拠を提供するために、散在し整理されていないデータから患者の病歴画像を正確に取得できる方法が緊急に必要とされています。
第二に、現在、ほとんどのプライバシー保護対策は、明示的な情報（患者の名前など）を削除することにのみ重点を置いています。しかし、研究によると、画像には患者の身元を明らかにできる微妙な視覚的手がかりも含まれています。理想的な医療画像再識別モデルは、画像内の身元関連領域を自動的に検出し、適切な後処理によってこれらの領域を認識できないようにすることで、データの医療上の実用性を確保しながらプライバシー漏洩のリスクを効果的に低減できる必要があります。
上記の課題に対応して、少数の研究が医療画像の再識別の問題を調査し始めていますが、ほとんどの研究は特定のモダリティに限定されています。既存の研究には以下が含まれます。
* 福田らおよびSinghら低レベルの特徴を使用して眼底画像の ID 認識を実行しました。
* Packhauserらニューラルネットワークを使用して胸部X線写真の再識別を実現しました。
これらの方法はすべて単一のモダリティ向けに設計されており、マルチモーダル データの相補的な利点を活用することは困難です。同時に、医療に関する事前情報の利用が少なくなり、モデルの一般化能力が制限されます。
一般的に、医療画像の再識別の分野における既存の研究はまだ初期段階にあります。過去の画像管理とプライバシー保護を考慮しながら、マルチモーダル情報を統合できる統合ソリューションの開発が急務となっています。
上海人工知能研究所が複数の大学と共同で提案した MaMI には、2 つの主な革新があります。 1 つ目は、実行時にモダリティに依存しないモデルをモダリティ固有のモデルにアップグレードすることにより、モダリティ適応型の特徴抽出を実現することです。 2 つ目は、基本的な医療モデルの豊富な医療事前分布を医療再識別タスクに移行してモデルを最適化し、医療関連分野に重点を置くことです。
次の図(a)に示すように、研究者らは連続モードベースのパラメータアダプタ（ComPA）を導入した。実行時に、モダリティに依存しないモデルを現在の入力モダリティに適したモデルに動的に適応させます。調整されたモデルは、下の図 (b) に示すように、入力された医療画像からアイデンティティ関連の視覚的特徴を抽出します。最適化のプロセス中に、研究者は画像間の主な違いを揃えました。医療基盤モデル（MFM）から医療再識別タスクへの豊富な医療事前知識の移転、下の図(c)に示します。
連続モードベースのパラメータアダプタ（ComPA）
研究者らは、さまざまな医用画像モダリティの特定の特徴を完全に捉えるためには、統一モデルを単純に微調整するだけでは各モダリティの利点を引き出すことが難しいことを発見しました (表 1 に示すように)。そのため、モダリティ適応型特徴抽出が必要です。この目的のために、同社は、連続モーダル表現と低ランクパラメータ予測を通じて実行時に入力画像に固有のモデルパラメータを動的に生成し、統合モデルにおけるモダリティ固有の情報の不足を効果的に補うComPAモジュールを設計しました。
医療基盤モデルからReIDモデルへの医療事前分布の転送
再 ID 損失に単純に依存することで、モデルが些細なテクスチャ (機器のノイズなど) に重点を置きすぎて、患者の固有の生物学的特性を無視してしまう可能性があります。対照的に、大規模な医療画像で事前トレーニングされた医療基礎モデル (MFM) は、解剖学的構造に重点を置いており、身元認識のためのより豊富な医療事前情報を提供します。研究者たちは、事前の知識を再 ID モデルに転送し、ローカル特徴マップを使用してモデルをガイドしました。
MFM の事前トレーニング タスクと MedReID タスク間のドメイン ギャップを埋めるために、次の 2 つの戦略が提案されています。
まずキー構造の適応的な選択。研究者たちはまず画像のモーダル特徴は、胸部X線写真の臓器の輪郭や眼底画像の血管分布など、各モダリティの主要な構造情報を取得できるモダリティ固有のクエリトークンのセットに投影されます。その後、これらのクエリ トークンは、クロス アテンション メカニズムを通じてローカル特徴マップと照合され、主要な医療意味特徴の正確な選択が実現されます。すべての特徴情報を使用する場合と比較して、主要な構造を抽出すると過剰適合のリスクが軽減されます。
2つ目は、構造残差に基づく事前学習です。特徴を直接位置合わせする従来の方法とは異なり、研究者は画像間の差異の特徴を位置合わせし、コントラストの損失を使用して画像間の微妙な違いを学習することで、モデルのアイデンティティ特徴を捉える能力を向上させます。
実験結果: 実際のアプリケーションシナリオでの価値の検証
最初の医療ReIDリスト
下の表に示すように、研究者は視覚ベースモデル、視覚言語ベースモデル、再識別モデル、医療ベースモデル、およびユニモーダル MedReID モデルを評価しました。潜在能力を最大限に引き出し、公平な比較を実現するために、代表的なモデルを微調整しました。結果は、MaMI が複数のテストで一貫して SOTA パフォーマンスを達成していることを示しています。
応用シナリオ1：精密医療をサポートするための過去の症例の自動検索
実際のシナリオでは、過去の患者の医療画像の管理の不備を考慮すると、研究チームは、MaMI を使用して現在の画像に関連する過去の画像を検索することを提案し、単純な MLP を通じて複数の過去の画像の特徴を融合して診断を支援し、画像情報のみに頼るようにしました。履歴タグは必要ありません。
5枚の歴史的画像を取得する場合、診断精度は 77.34% から 80.12% に増加し、2.78% 増加しました。非構造化アーカイブ内の履歴データを活用して臨床的有用性を向上させる MaMI の有効性を実証します。さらに比較実験を行ったところ、私たちのアプローチは、画像検索性能において、外観ベース（DINOv2）、症状ベース（Med-Unic）、およびX線専用に設計されたX線ReID手法（Packhauserら）よりも一貫して優れていることが示されました。
応用シナリオ2：大規模モデル時代の倫理的安全性を確保するための自動化されたプライバシー保護
研究者らは、シンプルな U-Net モデルを使用して、画像内のアイデンティティ関連の視覚的特徴を予測および削除し、その ID モデルをアイデンティティ類似性損失として導入しました。これにより、医療上の特徴の類似性は高く保たれながら、アイデンティティ特徴の類似性は低下します。MIMIC-X データセットでのトレーニングと Chest-X データセットでの評価の結果、保護された画像は再識別攻撃に耐えることができ、病気の分類精度は元の画像よりもわずかに低いだけであることが示されました。結果は次の表に示されています。
結論
MaMI モデルは、医療画像の再識別とプライバシー保護のタスクを統合し、履歴画像の検索と ID 情報保護の全体的なパフォーマンスを大幅に向上させます。 MaMI の強化効果は、堅実な理論的分析と包括的な実験検証によって裏付けられています。革新的な連続モダリティパラメータアダプタと、医療の事前知識を統合したその設計は、マルチモーダル医療画像管理の新しいパラダイムを提供し、個別化された診断と治療、プライバシー保護のためのより高度な画像処理技術の開発を促すものと期待されます。
また、上海人工知能研究所に新設された大規模モデル評価チームでは、インターンを募集している。興味がある方はこの記事をクリックして詳細をご覧いただくか、履歴書を tianyuan@pjlab.org.cn まで直接お送りください。