CVPR 2025에 선정된 Shanghai AI Lab과 다른 연구진은 11개 데이터세트에서 SOTA를 달성한 최초의 전체 모달리티 의료 이미지 재식별 프레임워크를 제안했습니다.

AI 기반 의료 영상 관리 분야에서 의료 영상 재식별(MedReID)은 다양한 방식과 시간대에서 수집된 환자 영상 데이터를 자동으로 연관시켜 개인화된 진단과 치료를 위한 강력한 데이터 지원을 제공하는 핵심 기술입니다. 하지만 이 분야는 거의 탐구되지 않았습니다.기존 방법은 대부분 저수준 이미지 특징이나 수동으로 유지 관리하는 메타데이터에 의존하는데, 이는 방대한 다중 모드 이미지의 정확한 매칭에 대한 임상적 요구를 충족하기 어렵습니다.

이러한 과제를 해결하기 위해상하이 인공지능연구소는 여러 유명 대학과 협력하여 MaMI(Modality-adaptive Medical Identifier) 모델을 제안했습니다.이는 연속적인 모달리티 매개변수 어댑터를 도입하여 기존의 단일 모달리티 제한을 깨는 새로운 의료 영상 재식별 방법으로, 통합 모델을 런타임에 현재 입력(예: X선, CT, 안저, 병리, MRI 등)에 적합한 모달리티별 모델로 자동 조정할 수 있습니다.

MaMI는 이 전략을 통해 11개의 공공 의료 영상 데이터세트에 대한 평가에서 최첨단 재식별 성능을 입증했으며, 개인화된 의료를 위한 정확하고 역동적인 과거 영상 데이터 검색 지원을 제공합니다.

서류 주소:
https://arxiv.org/pdf/2503.08173

코드 및 모델 오픈소스 주소:
https://github.com/tianyuan168326/All-in-One-MedReID-Pytorch

연구 하이라이트

올인원 의료재식별 모델(MaMI) 제안

연구팀은 처음으로 다양한 모달리티의 의료 이미지를 재식별하는 문제를 균일하게 처리할 수 있는 모델을 구축했으며, 단일 모델을 사용하여 다양한 모달리티(예: X선, CT, 안저, 병리학, MRI 등)의 이미지를 인식하는 것을 달성했습니다.

포괄적인 의료 재식별 벤치마크 구축

연구팀은 다양한 영상 방식과 장기를 포괄하는 11개의 공공 의료 영상 데이터 세트에 대한 포괄적이고 공정한 벤치마크를 구축하여 이 문제에 대한 후속 연구를 위한 표준화된 평가 플랫폼을 제공했습니다.

연속 모달 매개변수 어댑터(ComPA) 설계

연구팀은 입력 이미지를 기반으로 모달 특정 매개변수를 동적으로 생성할 수 있는 연속 모달 매개변수 어댑터를 혁신적으로 제안했으며, 이를 통해 원래 모달 독립 모델을 현재 입력 특성에 적응하는 모달 특정 모델로 조정할 수 있었습니다.

의학적 사전 지식 통합

연구팀은 교차 이미지 차이를 모델링함으로써 사전 훈련된 의료 기본 모델의 풍부한 의료 사전 지식을 재식별 작업으로 전환하여 모델이 미묘한 신원 단서를 포착하는 능력을 효과적으로 향상시켰습니다.

실제 시나리오에서 애플리케이션 가치 검증

* 과거 데이터 기반 진단: MaMI는 정리되지 않은 과거 영상 데이터로부터 개인화된 환자 정보를 검색하여 기존 의료 검사의 정확도를 크게 향상시킬 수 있습니다.

* 개인정보 보호: MaMI는 이미지 속 미묘한 개인 식별 정보를 감지하고 데이터가 공유되기 전에 자동으로 제거하여 환자의 개인정보를 보호하는 동시에 필요한 의료 정보를 유지합니다.

모델 아키텍처: 연속 모드 기반 매개변수 어댑터 소개

의료 이미지 관리 분야에는 과거 이미지 관리와 개인정보 보호라는 두 가지 주요 과제가 있습니다.

첫 번째,기존 방식은 주로 환자 메타데이터(이름, 진료 기록 번호 등)와 이미지를 수동으로 사전 연결하고 쿼리 시스템을 통해 이미지를 검색하는 데 의존했습니다. 하지만 데이터가 다른 PACS 플랫폼에 저장되는 경우이러한 링크는 종종 불완전하거나 부정확하여 효율적으로 관리하기 어렵습니다.따라서 분산되고 체계적으로 정리되지 않은 데이터에서 환자의 과거 이미지를 정확하게 검색하여 질병 진단을 위한 신뢰할 수 있는 과거 증거를 제공할 수 있는 방법이 시급히 필요합니다.

둘째,현재 대부분의 개인정보 보호 조치는 명시적 정보(예: 환자 이름)를 제거하는 데만 초점을 두고 있습니다. 그러나 연구 결과에 따르면이미지에는 환자의 신원을 밝힐 수 있는 미묘한 시각적 단서도 있습니다.이상적인 의료 이미지 재식별 모델은 이미지에서 신원 관련 영역을 자동으로 감지하고 적절한 후처리를 통해 이러한 영역을 인식할 수 없게 만들어야 합니다. 이를 통해 데이터의 의학적 실용성을 보장하는 동시에 개인 정보 유출 위험을 효과적으로 줄일 수 있어야 합니다.

위에서 언급한 과제에 대응하여 소수의 연구에서 의료 이미지 재식별 문제를 탐구하기 시작했지만 대부분의 작업은 특정 방식에 국한되어 있습니다. 기존 연구는 다음과 같습니다.

* 후쿠타 등 및 Singh et al. 저수준 특징을 사용하여 안저 이미지에서 신원 인식을 수행했습니다.

* 팩하우저 등 흉부 엑스레이를 재식별하기 위해 신경망을 사용했습니다.

이러한 방법은 모두 단일 모달리티에 맞춰 설계되었기 때문에 다중 모달 데이터의 상호 보완적 이점을 활용하는 데 어려움이 있습니다. 동시에, 그들은 의학적 사전 정보를 덜 활용하는데, 이는 모델의 일반화 능력을 제한합니다.

전반적으로 의료 이미지 재식별 분야의 기존 연구는 아직 초기 단계에 있습니다.과거 이미지 관리와 개인정보 보호를 고려하면서 다중 모드 정보를 통합할 수 있는 통합 솔루션을 개발해야 할 시급한 필요성이 있습니다.

상하이 인공지능 연구소가 여러 대학과 협력하여 제안한 MaMI에는 두 가지 주요 혁신이 있습니다. 첫 번째는 런타임에 모달리티 독립 모델을 모달리티 특정 모델로 업그레이드하여 모달리티 적응형 기능 추출을 달성하는 것입니다. 두 번째는 기본 의료 모델의 풍부한 의료 사전 정보를 의료 재식별 작업으로 이전하여 모델을 최적화하고, 이를 통해 의료 관련 분야에 더욱 집중하는 것입니다.

다음 그림(a)에서 보는 바와 같이,연구원들은 연속 모드 기반 매개변수 어댑터(ComPA)를 도입했습니다.런타임에 현재 입력 모달리티에 적합한 모델에 모달리티 독립 모델을 동적으로 적응시킵니다. 조정된 모델은 아래 그림(b)에 표시된 것처럼 입력 의료 이미지에서 신원과 관련된 시각적 특징을 추출합니다. 최적화 과정에서 연구자들은 이미지 간의 주요 차이점을 파악했습니다.의료 기초 모델(MFM)에서 의료 재식별 작업으로 풍부한 의료 사전 지식 전송아래 그림(c)와 같이.

연속 모드 기반 매개변수 어댑터(ComPA)

연구자들은 다양한 의료 영상 모달리티의 구체적인 특징을 완벽하게 포착하기 위해 통합 모델을 미세 조정하는 것만으로는 각 모달리티의 장점을 끌어내기 어렵다는 것을 발견했습니다(표 1 참조). 따라서 모달리티에 적응하는 특징 추출이 필요합니다. 이를 위해 연속적인 모달 표현과 저순위 매개변수 예측을 통해 런타임에 입력 이미지에 특정한 모델 매개변수를 동적으로 생성하는 ComPA 모듈을 설계하여 통합 모델에서 모달리티별 정보가 부족한 부분을 효과적으로 보완했습니다.

의료 기초 모델에서 ReID 모델로 의료 사전 정보 전송

단순히 재식별 손실에만 의존하면 모델이 사소한 질감(예: 장비 소음)에 지나치게 초점을 맞추고 환자의 본질적인 생물학적 특성을 무시하게 될 수 있습니다. 이와 대조적으로, 대규모 의료 이미지로 사전 학습된 의료 기반 모델(MFM)은 해부학적 구조에 초점을 맞춰 신원 인식을 위한 더 풍부한 의학적 사전 정보를 제공합니다.연구자들은 기존의 지식을 재식별 모델로 전환하고 로컬 특징 맵을 사용하여 모델을 안내했습니다.

MFM 사전 훈련 작업과 MedReID 작업 간의 도메인 격차를 메우기 위해 두 가지 전략이 제안됩니다.

첫 번째는주요 구조의 적응적 선택. 연구자들은 먼저영상의 모달 특징은 흉부 엑스레이의 장기 윤곽이나 안저 영상의 혈관 분포와 같이 각 모달리티의 주요 구조적 정보를 포착할 수 있는 모달리티별 쿼리 토큰 세트로 투사됩니다. 이후, 이러한 쿼리 토큰은 교차 주의 메커니즘을 통해 로컬 기능 맵과 매칭되어 주요 의학적 의미적 기능을 정확하게 선택합니다.모든 기능 정보를 사용하는 것과 비교했을 때, 핵심 구조만 추출하면 과적합의 위험이 줄어듭니다.

두 번째는 구조적 잔차에 기초한 사전 학습입니다.연구진은 기존의 직접적 특징 정렬 방식과 달리 이미지 간 차이 특징을 정렬하고 대비 손실을 사용하여 이미지 간의 미묘한 차이점을 학습하여 모델의 신원 특징을 포착하는 능력을 향상시켰습니다.

실험 결과: 실제 적용 시나리오에서의 가치 검증

최초의 의료 ReID 목록

아래 표에서 보듯이, 연구자들은 시각적 기반 모델, 시각적 언어 기반 모델, 재식별 모델, 의료적 기반 모델, 단일 모드 MedReID 모델을 평가했습니다. 잠재력을 최대한 자극하고 공정한 비교를 보장하기 위해 그들은 대표 모델을 세부적으로 조정했습니다.결과는 MaMI가 여러 테스트에서 지속적으로 SOTA 성능을 달성함을 보여줍니다.

응용 시나리오 1: 정밀 의학을 지원하기 위한 과거 사례의 자동 검색

실제로 과거 환자의 의료영상 관리가 제대로 이루어지지 않았던 점을 고려하면,연구팀은 MaMI를 사용하여 현재 이미지와 관련된 과거 이미지를 검색하고, 간단한 MLP를 통해 여러 과거 이미지의 특징을 융합하여 진단을 지원하고 이미지 정보에만 의존하는 방식을 제안했습니다.기록 태그가 필요 없습니다.

5개의 역사적 이미지를 검색할 때,진단 정확도는 77.34%에서 80.12%로 2.78% 증가했습니다.우리는 MaMI가 비정형 아카이브의 과거 데이터를 활용하여 임상적 유용성을 개선하는 데 효과적임을 보여줍니다. 추가적인 비교 실험 결과, 우리의 접근 방식은 이미지 검색 성능 면에서 외관 기반(DINOv2), 증상 기반(Med-Unic), X선용으로 특별히 설계된 X선 ReID 방식(Packhauser et al.)보다 지속적으로 우수한 것으로 나타났습니다.

적용 시나리오 2: 빅 모델 시대의 윤리적 안전을 보장하는 자동화된 개인 정보 보호

연구진은 간단한 U-Net 모델을 사용하여 이미지에서 신원 관련 시각적 특징을 예측하고 제거했으며, 신원 유사성 손실로 ID 모델을 도입했습니다.이렇게 하면 의학적 특징의 유사성을 높게 유지하면서 신원 특징의 유사성은 줄어듭니다.MIMIC-X 데이터 세트에 대한 학습 결과와 Chest-X 데이터 세트에 대한 평가 결과는 보호된 이미지가 재식별 공격에 저항할 수 있는 반면 질병 분류 정확도는 원본 이미지보다 약간 낮을 뿐임을 보여줍니다. 결과는 다음 표에 나와 있습니다.

결론

MaMI 모델은 의료 이미지 재식별 및 개인 정보 보호 작업을 통합하고, 과거 이미지 검색 및 신원 정보 보호의 전반적인 성능을 크게 향상시킵니다. MaMI의 증강 효과는 견고한 이론적 분석과 포괄적인 실험적 검증을 통해 뒷받침됩니다. 우리는 혁신적인 연속 모달리티 매개변수 어댑터와 의학적 기존 지식을 통합한 설계가 다중 모달 의료 영상 관리를 위한 새로운 패러다임을 제공하고, 개인화된 진단 및 치료와 개인정보 보호를 위한 보다 진보된 영상 처리 기술 개발에 영감을 줄 것으로 기대합니다.

또한, 상하이 인공지능연구소의 새로 구성된 대규모 모델 평가팀도 인턴을 모집하고 있습니다. 관심 있는 친구분들은 이 기사를 클릭해서 자세한 내용을 보거나, 이력서를 tianyuan@pjlab.org.cn으로 직접 보내주세요.