매칭 정확도가 187.9% 증가했습니다! 화중과학기술대학교 CGCL 연구소는 자기 지도 학습을 사용해 캡슐 내시경 이미지 스티칭을 지원하고 위장 건강도 '하늘의 눈'에서 볼 수 있다

전 세계적으로 위장관 질환은 심각한 공중보건 문제가 되고 있습니다. 세계보건기구 산하 국제암연구소의 통계에 따르면, 인구의 위장질환 발생률은 80%로 높습니다. 중국에서는 위장질환 환자 수가 1억 2천만 명에 달했으며, 젊은 환자층이 늘어나는 추세가 뚜렷합니다.위장 건강에 주의를 기울이는 것이 시급합니다.

이러한 맥락에서, 첨단 진단 도구인 미세캡슐 내시경(MCCE)은 비침습적이고, 통증이 없으며, 교차 감염이 없다는 특징으로 인해 폭넓은 주목을 받고 있습니다.구체적으로, MCCE는 캡슐에 무선 카메라를 내장했습니다. 환자는 캡슐을 삼키기만 하면 되는데, 캡슐은 식도, 위를 통과한 후 소장으로 들어가며, 이 과정에서 수만 장의 이미지를 촬영하여 환자의 벨트 하드 드라이브에 기록합니다. 마지막으로 캡슐은 환자의 대변과 함께 자연스럽게 체외로 배출됩니다. 의사는 촬영한 영상을 바탕으로 위장 질환이나 이상 상태를 빠르게 파악할 수 있어 환자의 고통을 크게 줄일 수 있습니다.  

그러나 캡슐내시경의 움직임은 주로 위장관 운동성에 의존하기 때문에 촬영 범위가 제한적입니다. MCCE는 의사가 집중하고자 하는 특정 부위(즉, 관심 부위)를 효과적으로 포착하기 어렵고, 고정되지 않은 관점으로 많은 수의 단편화된 이미지만 포착할 수 있는 경우가 많습니다. 이러한 이미지는 일반적으로 질감이 약하고, 관점의 변화가 크고, 가까운 거리에서 촬영할 경우 변형이 일어나는 등의 문제가 있습니다.이로 인해 이미지 스티칭과 위치 지정에 큰 어려움이 발생하고, 병변 부위를 정확하게 감지하는 것도 어려워집니다.

이에 대응하여, 화중과학기술대학의 루펑(Lu Feng) 연구팀은 상하이교통대학, 중남민족대학, 홍콩과학기술대학(광저우), 홍콩이공대학, 시드니대학의 성빈(Sheng Bin)과 협력하여 S2P-Matching이라는 자체 감독 방식의 단편 매칭 기반 캡슐 내시경 영상 스티칭 방법을 제안했습니다.이 방법은 위장관에서 캡슐 내시경의 촬영 동작을 시뮬레이션하고, 원래 데이터를 향상시키고, 대조 학습을 사용하여 이미지의 국소적 특징을 추출하고, Transformer 모델을 통해 이미지의 패치 수준 매칭을 수행합니다. 궁극적으로 매칭은 픽셀 수준까지 정교해질 수 있으며, 이를 통해 이미지 스티칭의 정확도와 성공률을 크게 높이고 조기에 위장 질환을 발견하고 진단하는 능력을 향상시킬 수 있습니다.

"S2P-Matching: 캡슐 내시경 이미지 스티칭을 위한 변압기를 사용한 자체 감독 패치 기반 매칭"이라는 제목의 이 연구 결과는 생체공학 분야의 최고 국제 저널인 IEEE Transactions on Biomedical Engineering에 게재 승인을 받았습니다.

연구 하이라이트:

* 기존의 다른 방법과 비교했을 때, S2P-Matching은 실제 MCCE 이미지 매칭에서 더 나은 성과를 보이며, 특히 위장관 이미지의 시차 및 약한 질감 문제를 해결하는 데 효과적입니다. 매칭 정확도와 성공률은 각각 187.9%, 55.8%만큼 향상되었습니다.

* S2P-Matching은 캡슐내시경의 촬영 동작을 시뮬레이션하여 시뮬레이션된 이미지 데이터 세트를 생성하여 모델이 다양한 관점에서 이미지 특징을 학습하는 데 도움이 될 수 있습니다.

* 연구진은 기존 내시경이 정확한 봉합과 위치 결정을 할 수 없었던 빈틈을 메우는 S2P-Matching 방식을 제안해 의사들이 위장관을 보다 포괄적이고 명확하게 관찰할 수 있도록 돕고, 위장관 질환 검진의 효율성을 높여 임상에서 비침습적 내시경 기술의 폭넓은 적용을 촉진할 것으로 기대했다.

서류 주소:
http://dx.doi.org/10.1109/TBME.2024.3462502

공식 계정을 팔로우하고 "캡슐 내시경"에 답글을 달면 전체 PDF를 받을 수 있습니다.

오픈소스 프로젝트인 "awesome-ai4s"는 100개가 넘는 AI4S 논문 해석을 모아 방대한 데이터 세트와 도구를 제공합니다.

https://github.com/hyperai/awesome-ai4s

데이터 세트: 전문 의사가 정확하게 레이블을 지정한 20,000개 이상의 임상 촬영 데이터 포함

연구진은 실제 임상 상황에서 의료 전문가들이 관심 있는 부위의 연속된 영상을 분석하는 데 주력했으며, 2016년부터 2019년까지 국내 병원의 캡슐내시경 검사 기록을 선택했습니다.S2P-Matching의 효과와 정확성을 검증하기 위해, 그들은 비교적 안정적인 기간 동안 캡슐 내시경으로 지속적으로 촬영한 이미지를 훈련 및 테스트 데이터 세트로 선택했습니다. 이 이미지들은 0.5초마다 촬영되었으며, 각 이미지의 공간 해상도는 480×480픽셀이었습니다.

구체적으로, 무작위 그룹화를 보장하고 스티칭 효과의 비교를 최적화하기 위해 연구진은 213명의 환자 데이터에서 샘플을 무작위로 선택하고 각 환자의 이미지 시퀀스에서 n×10개의 연속 프레임(n은 5~15)을 추출하여 총 21,526개의 이미지를 얻었습니다. 엄격한 검토를 거쳐 최종적으로 20,862개의 고품질 이미지가 보존되었습니다. 이를 바탕으로 연구진은 테스트 세트를 형성하기 위해 528개의 이미지를 선택하고 두 명의 협력 의사를 초대하여 이러한 이미지에서 일치하는 지점을 정확하게 표시했습니다.

모델 아키텍처: 패치 변환, 자체 감독 변환기가 캡슐 내시경의 원활한 여정을 안내합니다.

S2P-매칭은 듀얼 브랜치 인코더를 사용하여 로컬 특징을 추출하고 이러한 특징을 사용하여 패치 수준 이미지 매칭을 위한 Transformer 모델을 학습하는 개선된 자체 감독 대조 학습 방법을 도입합니다. 마지막으로 Patch-to-Pixel 방법을 통해 픽셀 수준 매칭으로 더욱 세분화됩니다.주요 프로세스는 다음 그림에서 볼 수 있듯이 데이터 증강, 심층적 특징 기술자 추출, 패치 수준 매칭, 픽셀 수준 매칭으로 세분화, 올바른 대응 필터링의 5가지 부분으로 구성됩니다.

* 데이터 증강:이 부분의 역할은 데이터 향상입니다. 즉, 아핀 변환을 통해 위장관에서 캡슐 내시경 카메라의 동작을 시뮬레이션하고, 다중 뷰 참조 이미지를 생성하고, 모델이 다양한 관점에서 이미지 특징을 학습하도록 돕고, 수동 레이블 지정의 복잡성을 피하는 것입니다.

* 특징 추출(Deep Feature Descriptor Extraction):이 부분의 역할은 심층적 특징 기술자를 추출하는 것, 즉 개선된 대조 학습 기술을 사용하여 지역적 특징을 추출하는 것입니다. 구체적으로, 듀얼 브랜치 인코더를 사용하여 이미지 패치와 배경 패치에서 각각 특징을 추출하고, 이러한 특징을 연결하여 매칭을 위한 심층 특징 기술자를 형성합니다.

* 패치 수준 매칭:이 부분에서는 이미지 패치 수준 매칭을 위해 Transformer 기반 모델을 사용합니다. 이 모델은 다중 헤드 자기 주의 메커니즘을 통해 수용 영역을 확장하여 이미지에서 서로 다른 패치 매칭 쌍을 효과적으로 식별합니다. 또한, 패치 페어링의 신뢰도를 결정하기 위해 듀얼 소프트맥스 연산을 통해 매칭 확률 행렬이 생성됩니다.

* 픽셀 수준 매칭으로 세분화:이 부분에서는 패치 수준 매칭에서 픽셀 수준 매칭으로 이미지를 세부화합니다. 즉, 패치 수준 매칭을 기반으로 Patch-to-Pixel 방식을 사용하여 픽셀 수준 매칭을 세부적으로 조정하여 스티칭 정확도를 더욱 향상시킵니다.

* 올바른 대응 필터링:올바른 일치 쌍을 결정합니다. 즉, MAGSAC 알고리즘을 사용하여 잘못된 일치 쌍을 필터링하여 정확한 픽셀 수준의 일치 결과를 보장합니다.

데이터 증강, 대조 학습, Transformer 네트워크 및 픽셀 수준 매칭을 결합합니다.S2P-Matching은 특히 질감이 약하거나 근접 촬영, 회전이 있는 경우 내시경 영상의 매칭 및 스티칭 정확도를 효과적으로 향상시킬 수 있어 MCCE 기반 위장관 스크리닝에 잠재적인 적용 가치를 제공합니다.앞으로 연구자들은 복잡한 조명 조건, 거품, 흐림, 폐색 등을 처리하는 등 이 방법의 적용 시나리오를 더욱 확장할 것입니다.

실험 결론: 매칭 + 스플라이싱, S2P-매칭은 캡슐내시경 이미지에서 다재다능합니다.

연구진은 S2P-Matching 방법의 성능을 평가하기 위해 이 방법의 이미지 매칭 효과를 다른 최신 이미지 매칭 알고리즘(예: CAPS, ASIFT, DeepMatching, R2D2, SuperPoint 등)과 비교했습니다. 이 중 실험에 사용된 데이터 세트에는 2016년부터 2019년까지 수집된 캡슐내시경 이미지가 포함되어 있으며, 약한 질감, 근접 촬영, 큰 각도 회전 등 다양하고 복잡한 장면을 포괄합니다.

아래 표에서 보듯이, 연구 결과에 따르면 모든 실험 유형(약한 질감, 클로즈업, 큰 각도 회전)에서 S2P-Matching이 가장 높은 NCM(정확하게 매칭된 포인트 수)과 SR(성공률) 점수를 보였으며, 평균 NCM은 311, 평균 SR은 81.7%였습니다.기존 알고리즘과 비교했을 때 S2P-Matching의 매칭 정확도는 크게 향상되었습니다.

연구자들은 다양한 데이터 세트(약한 질감, 클로즈업 샷, 큰 각도의 회전)에서 세 세트의 이미지를 선택했습니다. 그리고 다양한 방법의 매칭 결과를 비교합니다. 시각적 다이어그램. 각 입력 이미지 쌍에는 0.5초 간격으로 촬영된 캡슐 내시경 이미지 2개가 포함됩니다. 각 열의 3쌍의 이미지는 매우 가까운 위치에서 촬영되었으며 회전 변동이 있습니다. 흰색 선은 해당 쌍, 즉 일치하는 결과를 나타냅니다. 다양한 방법을 통해 얻은 이미지 매칭 결과의 시각적 이미지는 다음 그림과 같습니다.

첫 번째 행에서 세 번째 행으로 갈수록 텍스처가 약해지고 반복되는 영역이 많아질수록 다양한 매칭 방법을 통해 얻은 매칭 쌍의 수가 다양한 정도로 줄어드는 것을 볼 수 있습니다. 예를 들어, CAPS와 ASIFT는 소수의 일치하는 쌍만 추출할 수 있으며, 잘못된 일치 쌍도 있어 최종 이미지 스티칭에서 오류가 발생합니다. DeepMatching은 제한된 수의 매칭 쌍만 추출할 수 있습니다. R2d2와 SuperPoint 사이의 매칭 수는 많지만, 부정확한 매칭 쌍도 많습니다. SuperGlue, LoFTR, TransforMatcher는 정확한 일치 결과가 적습니다. 다른 방법과 비교했을 때,S2P-매칭은 가장 뛰어난 특징 매칭 성능을 달성하고 불순물이나 명백한 변형으로 인한 간섭 없이 충분한 수의 중요한 매칭 쌍을 추출할 수 있으므로 최종 이미지 스티칭이 보장됩니다.

임상에서 캡슐내시경은 한 번에 촬영하는 영상 범위가 제한적이어서 의사가 더 넓은 시야에서 관심 부위를 관찰하기 어렵고, 이는 진단 정확도에 영향을 미칠 수 있습니다. 일반적으로 관심 영역의 전체에는 부분적으로 겹치는 여러 개의 연속된 이미지가 포함됩니다. 그러므로 캡슐내시경 이미지의 연속적인 스티칭을 달성하는 것이 매우 중요합니다.

아래 그림에서 보듯이, 연구자들은 캡슐 내시경 이미지의 연속 프레임을 스티칭하는 다양한 방법을 비교한 결과 다음과 같은 사실을 발견했습니다.S2P-매칭은 가장 자연스러운 스티칭 효과와 가장 높은 스티칭 정확도를 가지고 있으며, 약한 이미지 텍스처와 회전 등의 어려운 문제를 효과적으로 처리할 수 있습니다. 다른 알고리즘과 비교했을 때, 이 방법은 가장 일치하는 쌍을 생성하며, 스티칭 결과에는 텍스처 정렬 불량, 과도한 크기 조정, 텍스처 연결 등의 눈에 띄는 문제가 없습니다.

또한 연구진은 다양한 모듈이 최종 효과에 미치는 영향을 연구하기 위해 절제 실험을 수행했습니다. 연구 결과에 따르면, 이미지 파생물과 심층적 특징 기술자를 결합한 S2P-Matching 프레임워크는 특히 복잡한 캡슐 내시경 이미지를 처리할 때 이미지 매칭의 정확도를 크게 향상시킬 수 있습니다. 또한, S2P-Matching은 다양한 각도에서 회전하여 촬영한 이미지를 처리하는 데 우수한 성능을 보이며, 큰 각도 회전이 있는 이미지 매칭 작업에도 잘 적응할 수 있으며, 다른 방법보다 정확도가 더 높습니다.

요약하자면, S2P-Matching은 복잡한 캡슐 내시경 이미지 매칭 작업에서 더 높은 매칭 정확도와 더 나은 스티칭 효과를 달성했으며, 특히 약한 질감, 회전 및 근거리 촬영과 같은 복잡한 상황에서 효과적이었습니다.

스마트 헬스케어의 선두주자

의료기술의 발달로 캡슐내시경은 인체 내부를 탐험하는 '작은 렌즈'가 되었습니다. AI의 지원을 받은 이 비침습적 검사 방법은 환자의 고통을 줄일 뿐만 아니라 의사에게 귀중한 진단 기반을 제공합니다.

이 논문의 첫 번째 저자인 화중과학기술대학의 루펑 교수는 질병 진단 및 치료에 AI를 적용하는 데 지속적으로 주목하고 있다는 점이 언급할 가치가 있습니다.위 연구 외에도 그녀는 시드니 대학 팀과 협력하여 IEEE/ACM 계산 생물학 및 생물정보학 저널에 "조기 보조 진단을 위한 세밀한 병변 분류 프레임워크"라는 제목의 논문을 발표했으며, 캡슐 내시경을 위한 세밀한 병변 분류 프레임워크를 제안했습니다. 이 프레임워크는 캡슐 내시경을 통해 얻은 의료 영상에서 다양한 크기의 후보 병변을 정확하게 식별하여 의사가 조기에 진단하는 데 도움을 줍니다.

원본 논문:
https://ieeexplore.ieee.org/abstract/document/10077722

루펑 교수는 그의 연구에서 유익한 성과를 거두었습니다.그는 Nat Med, IEEE Network, TBME, TCBB, TIOT, AAAI 등 세계 유수의 학술지와 학회에 30편 이상의 학술 논문을 발표하였으며, 다수의 국내외 특허와 기술상을 수상하였습니다.

루펑의 개인 홈페이지:
http://faculty.hust.edu.cn/lufeng2/zh_CN/index.htm

그녀의 연구팀은 화중과학기술대학 CGCL 연구실에 소속되어 있습니다.본 연구실은 과학기술부 핵심분야 혁신팀이며, 교육부 ‘창강학자혁신팀발전계획’ 혁신팀의 주도부서이며, 후베이자연과학기금의 혁신팀입니다. 이 기관은 약 400개의 과학 연구 프로젝트를 수행했으며, 풍부한 의료 데이터 리소스와 컴퓨팅 리소스를 보유하고 있습니다. 이곳은 산업 수준의 대규모 데이터 분석과 지능형 의학 연구를 수행할 수 있는 세계에서 몇 안 되는 연구소 중 하나입니다.
화중과학기술대학교 CGCL 연구실 홈페이지:
https://grid.hust.edu.cn/

루펑 교수 연구팀은 자체의 우수한 기술과 풍부한 자원을 활용해 주목할 만한 성과를 거두었을 뿐만 아니라, 국내외 유수 대학들과 적극적으로 협력을 모색했습니다. 예를 들어, 본 논문의 연구에서 루펑의 팀은 AI 의학 분야의 선임 학자인 성빈 교수와 협력했습니다.성빈 교수는 오랫동안 의학 분야에서 AI를 적용하는 데 관심을 가져왔으며, 이 분야에서 일련의 연구 결과를 발표했습니다. 예를 들어, 우리는 당뇨병 진단 및 치료를 위한 세계 최초의 시각적 대규모 언어 모델 통합 시스템인 DeepDR-LLM을 구축하여 1차 진료 의사에게 개인화된 당뇨병 관리 조언과 당뇨병성 망막증에 대한 보조 진단 결과를 제공했습니다.
자세한 내용: 세계 최초! 청화대/상하이교통대 등 공동 연구진, 당뇨병 진단 및 치료를 위한 시각적-대규모 언어 모델 구축, Nature 게재

앞으로 이러한 뛰어난 연구자들의 공동 노력을 통해 더욱 정확하고 효율적인 의료 진단이 이루어지고 환자의 의료 경험이 효과적으로 개선되기를 기대합니다.

참고문헌:
1.https://gleneagles.hk/sc/medical-treatments/capsule-endoscopy
2.https://m.21jingji.com/article/20240409/herald/244d34d9d0c815096fa8f3a25ca5cced_zaker.html