수술실에서 의사의 자세 추정 및 인스턴스 분할을 위한 비지도 도메인 적응

수술실에서 임상의사를 세밀하게 위치 파악하는 것은 새로운 세대의 수술실 지원 시스템을 설계하는 데 있어 핵심 요소입니다. 사람 기반 픽셀 분할 및 신체 관절점 검출을 위한 컴퓨터 비전 모델이 필요하여 임상 활동과 수술실의 공간 배치를 더 잘 이해할 수 있습니다. 이는 매우 어려운 문제로, 수술실 이미지가 전통적인 비전 데이터셋과 매우 다르기 때문이며, 개인정보 보호 문제로 인해 수술실에서 데이터와 주석을 수집하고 생성하기가 어렵기 때문입니다. 이러한 문제를 해결하기 위해, 먼저 다운샘플링 비율이 1x부터 12x까지인 저해상도 이미지에서 공동 사람 자세 추정과 인스턴스 분할이 어떻게 수행될 수 있는지를 연구하였습니다. 두 번째로, 도메인 간 차이와 주석 부족 문제를 해결하기 위해, 통계적으로 다른 비라벨된 대상 도메인으로 모델을 적응시키는 새로운 비지도 도메인 적응 방법인 AdaptOR(어댑터)를 제안합니다. 우리는 비라벨된 대상 도메인 이미지의 다양한 증강에 대한 명시적 기하학적 제약 조건을 활용하여 정확한 의사 라벨을 생성하고, 이를 통해 고해상도와 저해상도 수술실 이미지에서 자기 훈련 프레임워크를 사용하여 모델을 훈련시키는 방법을 제안합니다. 또한, 통계적으로 다른 소스 도메인과 대상 도메인 데이터를 처리하기 위해 분리된 특성 정규화를 제안합니다. MVOR+와 TUM-OR-test 두 개의 수술실 데이터셋에 대한 상세한 감소 연구와 광범위한 실험 결과는 우리의 접근 방식이 강력한 베이스라인에 대해 효과적이며, 특히 저해상도 개인정보 보호 수술실 이미지에서 그 효과를 입증하였습니다. 마지막으로, COCO 대규모 데이터셋에서 1%의 라벨링된 지도만으로도 100% 라벨링된 지도로 훈련된 모델과 유사한 결과를 얻은 반면, 우리의 방법이 반지도 학습(SSL) 방법론으로서 일반성을 가짐을 보여주었습니다.