マッチング命中率が187.9%アップ！華中科技大学の CGCL 研究室は、カプセル内視鏡の画像スティッチングを支援するために自己教師あり学習を使用しており、胃腸の健康状態も「空の目」で確認できます。

胃腸炎は世界的に深刻な公衆衛生上の課題になりつつあります。世界保健機関の国際がん研究機関の統計によると、中国では胃腸炎の罹患率は80%にも上り、胃腸炎患者数は1億2000万人に達しており、明らかな感染傾向が見られます。もっと若い。胃腸の健康に注意を払うことが急務です。

この場合、高度な診断ツールとしてのカプセル内視鏡検査 (MCCE) が、その非侵襲性、無痛性、交差感染の特性により広く注目を集めています。具体的には、MCCE のカプセルにはワイヤレス カメラが組み込まれており、患者はカプセルを飲み込むだけで食道、胃、小腸を通過し、その過程で数万枚の画像を撮影して記録します。ベルトハードドライブの中で、カプセルは患者の便とともに自然に排泄されます。医師は撮影した画像に基づいて消化器疾患や異常を迅速に特定できるため、患者の医療上の苦痛が大幅に軽減されます。  

しかし、カプセル内視鏡の動きは主に消化管の運動に依存するため、MCCEでは医師が注目したい特定の領域（関心領域）を効果的に捉えることが難しく、多くの場合、撮影範囲が限られています。不安定な視野角の画像を多数の断片化した画像のみをキャプチャできます。これらの画像には通常、弱いテクスチャ、視野角の大きな変化、近距離で撮影した場合の歪みなどの問題があります。これは、画像の結合と位置決めに大きな課題をもたらし、病変領域を正確に検出することも困難になります。

この点に関して、華中科技大学のLu Feng氏のチームは、上海交通大学、南中民族大学、香港理工大学（広州）、香港理工大学、および同大学のSheng Bin氏と協力して、シドニーのDr.らは、自己監視型のフラグメントマッチングベースのカプセル内視鏡鏡像スティッチング法S2P-Matchingを提案した。この方法では、消化管内でのカプセル内視鏡の発射動作をシミュレートし、元のデータを強化し、対照学習を使用して画像の局所特徴を抽出し、Transformer モデルを通じて画像パッチ レベルのマッチングを実行します。最後に、マッチングを次のように調整します。画像スティッチングの精度と成功率が大幅に向上するピクセル レベルにより、胃腸疾患の早期発見と診断の能力が向上します。

「S2P-Matching: Self-supervised Patch-based Matching using Transformer for Capsule Endoscope Images Stitching」と題されたこの成果は、生物医工学分野のトップ国際ジャーナルであるIEEE Transactions on Biomedical Engineeringに出版が受理された。

研究のハイライト:

* 他の既存の方法と比較して、S2P マッチングは実際の MCCE 画像マッチングにおいて、特に消化管画像の視差や弱いテクスチャの問題を解決する際に優れたパフォーマンスを発揮し、マッチングの精度と成功率はそれぞれ 187.9% と 55.81 向上しました。

* S2P-Matching は、カプセル内視鏡の撮影動作をシミュレートすることによってシミュレートされた画像データ セットを生成します。これは、モデルがさまざまな視点から画像の特徴を学習するのに役立ちます。

*研究者らは、従来の内視鏡検査では正確なスプライシングと位置決めを達成できないギャップを埋め、医師が消化管をより包括的かつ明確に観察できるようにし、消化器疾患のスクリーニングの効率を向上させ、非胃腸疾患の臨床応用を促進するS2Pマッチング法を提案しました。 -侵襲的内視鏡技術

用紙のアドレス:
http://dx.doi.org/10.1109/TBME.2024.3462502

公式アカウントをフォローし、バックグラウンドで「カプセル内視鏡」に返信すると全文PDFが入手できます

オープンソース プロジェクト「awesome-ai4s」は、100 を超える AI4S 論文の解釈をまとめ、大規模なデータ セットとツールを提供します。

https://github.com/hyperai/awesome-ai4s

データセット: 2 週間以上の臨床撮影データをカバーし、専門の医師によって正確に注釈が付けられています

研究者らは、2016年から2019年にかけて国内の病院からカプセル内視鏡記録を選択し、実際の臨床シナリオで医療専門家が関心のある領域の一連の連続画像を分析することに重点を置いた。S2P マッチングの有効性と精度を検証するために、比較的安定した期間にカプセル内視鏡によって連続的に撮影された画像をトレーニング データ セットおよびテスト データ セットとして選択しました。これらの画像は 0.5 秒ごとに撮影され、各画像の空間解像度は両方ともでした。 480×480ピクセルです。

具体的には、ランダムなグループ化を確保し、ステッチ効果の比較を最適化するために、研究者らは 213 人の患者のデータからサンプルをランダムに選択し、各患者の画像シーケンスから n × 10 の連続フレーム (n は 5 ～ 5) を抽出しました。から 15)まで、合計 21,526 枚の画像が取得されました。厳格な審査を経て、最終的に 20,862 枚の高品質画像が保存されました。これに基づいて、研究者らはテストセットを形成するために 528 枚の画像を選択し、これらの画像上の一致する点に正確に注釈を付けるよう 2 人の協力医師を招待しました。

モデル アーキテクチャ: Patch Metamorphosis、Self-supervised Transformer は、カプセル内視鏡のシームレスな旅へとあなたを導きます。

S2P マッチングは、改良された自己教師あり対比学習法を導入し、デュアル ブランチ エンコーダーを使用して局所的な特徴を抽出し、これらの機能を使用して Transformer モデルをトレーニングしてパッチレベルの画像マッチングを実行し、最後に、 Patch-to-Pixel メソッドのレベル マッチング。その主なプロセスは、次の図に示すように、データ拡張、深部特徴記述子の抽出、パッチ レベルのマッチング、ピクセル レベルのマッチング、およびマッチング ポイント フィルタリング (正しい対応関係のフィルタリング) の 5 つの部分で構成されます。

* データ拡張:この部分の機能はデータ強化であり、アフィン変換を使用して消化管内のカプセル内視鏡カメラの動作をシミュレートし、マルチビュー参照画像を生成し、モデルがさまざまなビューから画像の特徴を学習できるようにし、手動による複雑さを回避します。注釈。

* 特徴抽出 (深い特徴記述子の抽出):この部分の役割は、深い特徴記述子を抽出すること、つまり、改良された対照学習テクノロジーを使用して局所特徴を抽出することです。具体的には、デュアルブランチ エンコーダを通じて画像パッチと背景パッチから特徴が抽出され、これらの特徴が結合されてマッチング用の深い特徴記述子が形成されます。

* パッチレベルのマッチング:この部分では、Transformer ベースのモデルを使用して画像パッチ レベルのマッチングを実行します。このモデルは、マルチヘッド自己注意 (Self Attendance) メカニズムを通じてその受容野を拡張し、画像内のさまざまなパッチ マッチング ペアを効果的に識別します。さらに、デュアル ソフトマックス操作を通じて一致確率行列が生成され、パッチ ペアリングの信頼性を決定するために使用されます。

* ピクセルレベルのマッチングに絞り込む:この部分では、画像をパッチレベルのマッチングからピクセルレベルのマッチングに絞り込みます。つまり、パッチレベルのマッチングに基づいて、パッチツーピクセル法を使用してマッチングをピクセルレベルに絞り込み、スプライシングの精度をさらに向上させます。

* 正しい対応フィルタリング:正しい一致ペアを決定します。つまり、MAGSAC アルゴリズムを使用して誤った一致ペアを除外し、正確なピクセル レベルの一致結果を保証します。

データ強化、対比学習、Transformer ネットワーク、ピクセルレベルのマッチングを組み合わせることで、S2P マッチングは、特にテクスチャが弱い、近距離撮影や回転の場合に、内視鏡画像のマッチングとスティッチングの精度を効果的に向上させることができ、MCCE に基づく胃腸スクリーニングに潜在的な応用価値をもたらします。将来的には、研究者は、複雑な照明条件、泡、ブラー、オクルージョンの処理など、この方法の応用シナリオをさらに拡大する予定です。

実験の結論: マッチング + スプライシング、S2P マッチングはカプセル内視鏡画像で多用途に使用可能

S2P マッチング手法のパフォーマンスを評価するために、研究者らは、その画像マッチング効果を他の最新の画像マッチング アルゴリズム (CAPS、ASIFT、DeepMatching、R2D2、SuperPoint など) と比較しました。このうち、実験に使用されたデータセットには、2016年から2019年に収集されたカプセル内視鏡画像が含まれており、弱いテクスチャ、近距離撮影、大角度回転など、さまざまな複雑なシーンをカバーしています。

以下の表に示すように、研究結果は、すべての実験タイプ (弱いテクスチャ、近接ショット、大きな角度の回転) にわたって、S2P マッチングが最も高い NCM (正確に一致したポイントの数) および SR (成功率) スコアを示していることを示しています。平均 NCM は 311 に達し、平均 SR は 81.7% でした。従来のアルゴリズムと比較して、S2P-Matching のマッチング精度は大幅に向上しています。

研究者らは、異なるデータセット（弱いテクスチャ、近接ショット、大きな角度の回転）から 3 セットの画像を選択しました。そして、異なる方法のマッチング結果の視覚的な図を比較します。入力画像の各ペアには、0.5 秒間隔で撮影された 2 つのカプセル内視鏡画像が含まれています。各列の 3 つの画像ペアは、非常に近い位置で撮影されており、回転の差異があります。白い線は対応するペア、つまりマッチング結果を表します。さまざまな方法で得られた画像マッチング結果の視覚的な図を以下の図に示します。

行 1 から行 3 まで、テクスチャが弱くなり、繰り返し領域が増加するにつれて、さまざまな方法で取得された一致するペアの数がさまざまな程度で減少していることがわかります。たとえば、CAPS と ASIFT は少数の一致するペアしか抽出できず、不正確な一致するペアが存在するため、最終的な画像スティッチング エラーが発生します。 DeepMatching では、限られた数の一致するペアしか抽出できません。 R2d2 と SuperPoint の一致の数は多数ありますが、不正確な一致のペアも多数あります。 SuperGlue、LoFTR、および TransformMatcher では、正しい一致が少なくなります。他の方法と比べて、S2P マッチングは最高の特徴マッチング パフォーマンスを実現し、不純物や明らかな変換による干渉なしに十分な数の重要なマッチング ペアを抽出できるため、最終画像のスプライシングが確実になります。

臨床応用では、カプセル内視鏡では一度に撮影できる画像範囲が限られているため、医師が広い視野で関心領域を観察することが困難となり、診断精度に影響を与える可能性があります。通常、完全な関心領域には、部分的に重複した複数の連続画像が含まれます。したがって、カプセル内視鏡画像の連続的なスティッチングを実現することが非常に重要です。

以下の図に示すように、研究者はカプセル内視鏡画像の連続フレームを接合するさまざまな方法を比較し、次のことを発見しました。S2P マッチングは、最も自然なステッチ効果と最高のステッチ精度を備えており、弱い画像テクスチャや回転などの問題に効果的に対処できます。他のアルゴリズムと比較して、この方法は最も多くの一致ペアを生成し、スプライシング結果にはテクスチャの位置ずれ、オーバースケーリング、テクスチャ接続などの明らかな問題はありません。

さらに、研究者らはアブレーション実験を実施し、さまざまなモジュールが最終的な効果に及ぼす影響を研究しました。この結果は、画像由来の特徴記述子と深い特徴記述子を組み合わせた S2P マッチング フレームワークにより、特に複雑なカプセル内視鏡画像を処理する場合に、画像マッチングの精度を大幅に向上できることを示しています。さらに、S2P マッチングは、さまざまな角度で回転してキャプチャされた画像を処理する場合に優れたパフォーマンスを発揮し、大きな角度で回転する画像マッチング タスクによく適応でき、その精度は他の方法よりも優れています。

要約すると、S2P マッチングは、特に弱いテクスチャ、回転、近距離撮影などの複雑な状況において、複雑なカプセル内視鏡画像マッチングタスクにおいて、より高いマッチング精度とより優れたスプライシング効果を実現しました。

スマートヘルスケアのリーダー

医療技術の進歩に伴い、カプセル内視鏡は人体の内部世界を探求するための「小さなレンズ」となり、AIのサポートにより、この非侵襲的な検査方法は患者の苦痛を軽減するだけでなく、医師にも提供します。貴重な診断証拠。

論文の筆頭著者である華中科技大学のLu Feng教授が、疾患の診断と治療におけるAIの応用に引き続き注目していることは注目に値する。上記の研究に加えて、彼女はシドニー大学のチームと協力し、カプセル内視鏡法を提案する論文「早期補助診断のための細粒病変分類フレームワーク」をIEEE/ACM Transactions on Computational Biology and Bioinformaticsに発表しました。カプセル内視鏡の医用画像からさまざまなサイズの候補病変を正確に特定できる、きめ細かい病変分類フレームワークが開発され、医師の早期診断を支援します。

原紙：
https://ieeexplore.ieee.org/abstract/document/10077722

Lu Feng 教授の研究成果は非常に有益です。Nat Med、IEEE Network、TBME、TCBB、TIOT、AAAI などの一流の国際ジャーナルや会議で 30 以上の学術論文を発表し、国内外の特許や技術賞を多数受賞しています。

Lu Feng の個人ホームページ:
http://faculty.hust.edu.cn/lufeng2/zh_CN/index.htm

彼女の研究チームは華中科技大学 CGCL 研究室に所属しています。同研究室は、科学技術省の重点分野イノベーションチーム、教育省の「長江学者・イノベーションチーム発展計画」イノベーションチーム、湖北省自然科学財団イノベーションチームの主導部隊であり、これまでに400近くのプロジェクトを実施してきた。科学研究プロジェクトを行っており、豊富な医療データリソースと豊富なコンピューティングリソースを備えており、産業レベルの大規模データ分析とインテリジェントな医学研究を実行できる世界でも数少ない研究所の1つです。
華中科技大学 CGCL 研究室ホームページ:
https://grid.hust.edu.cn/

Lu Feng 教授のチームは、優れた技術と豊富なリソースで目覚ましい成果を上げているだけでなく、国内外の一流大学との協力も積極的に求めています。たとえば、この記事の研究では、Lu Feng のチームは、大学の上級専門家と協力しました。 AI医療分野の学者盛斌教授との連携を開始。Sheng Bin 教授は、医療における AI の応用について長年懸念しており、この分野で一連の研究結果を発表しています。たとえば、糖尿病の診断と治療のための世界初のビジュアルラージ言語モデル統合システムである DeepDR-LLM は、個人に合わせた糖尿病管理の意見と糖尿病性網膜症の補助診断結果を草の根の医師に提供するために構築されました。
詳細はこちら：世界初！清華大学と上海交通大学などが共同で糖尿病の診断と治療のためのビジュアルラージ言語モデルを構築、Natureサブジャーナルに掲載

今後、これらの優秀な研究者の共同推進により、より正確かつ効率的な医療診断を実現し、患者さんの医療経験を効果的に向上させることが期待されます。

参考文献:
1.https://gleneagles.hk/sc/medical-treatments/capsule-endoscopy
2.https://m.21jingji.com/article/20240409/herald/244d34d9d0c815096fa8f3a25ca5cced_zaker.html