3D 의료 포인트 트랜스포머: 의료 포인트 클라우드 분석을 위한 어텐션 네트워크에 컨볼루션 도입

일반 포인트 클라우드는 다양한 작업을 위해 점점 더 연구되고 있으며, 최근에는 포인트 클라우드 분석을 위한 트랜스포머 기반 네트워크가 제안되었습니다. 그러나 의료용 포인트 클라우드에 대한 관련 연구는 거의 없으며, 이는 질병 검출 및 치료에 중요한 역할을 합니다. 본 연구에서는 복잡한 생물학적 구조를 조사하기 위해 의료용 포인트 클라우드에 특화된 주의 기반 모델, 즉 3D 의료 포인트 트랜스포머 (3DMedPT)를 제안합니다. 쿼리에서 문맥 정보를 강화하고 지역 응답을 요약함으로써, 우리의 주의 모듈은 지역 문맥과 전역 내용 특성 상호작용을 모두 포착할 수 있습니다. 그러나 의료 데이터의 훈련 샘플이 부족하면 특성 학습이 부실해질 수 있으므로, 위치 임베딩(position embeddings)을 적용하여 정확한 지역 기하학을 학습하고 다중 그래프 추론(Multi-Graph Reasoning, MGR)을 사용하여 채널 그래프를 통해 전역 지식 전파를 조사하여 특성 표현을 풍부하게 만듭니다. IntrA 데이터셋에서 수행된 실험은 3DMedPT의 우수성을 입증하며, 우리는 최고의 분류 및 세그멘테이션 결과를 달성했습니다. 또한 일반 3D 포인트 클라우드 벤치마크(ModelNet40 및 ShapeNetPart)에서 우리 방법의 유망한 일반화 능력이 검증되었습니다. 코드는 공개되었습니다.