테스트 시간 적응 대비 학습 시간 일반화: 키포인트 추정을 사용한 인간 인스턴스 분할 사례 연구

테스트 이미지를 사용하여 인간 인스턴스 분할 마스크의 품질을 개선하는 문제를 고려합니다. 이 문제에 대한 두 가지 대안적 접근 방식을 비교합니다. 첫 번째 접근 방식은 테스트 시간 적응(TTA) 방법으로, 단일 라벨이 부착되지 않은 테스트 이미지를 사용하여 분할 네트워크의 가중치를 테스트 시간에 수정할 수 있도록 합니다. 이 접근 방식에서는 테스트 시간에 라벨이 부착된 원본 데이터셋에 접근할 수 있다고 가정하지 않습니다. 좀 더 구체적으로, 우리의 TTA 방법은 키포인트 추정 값을 의사 라벨로 사용하고 이를 역전파하여 백본 가중치를 조정하는 것을 포함합니다. 두 번째 접근 방식은 학습 시간 일반화(TTG) 방법으로, 오프라인으로 라벨이 부착된 원본 데이터셋에 접근할 수 있지만, 테스트 시간에 가중치를 수정할 수는 없습니다. 또한, 우리는 타겟 도메인에서의 이미지나 그에 대한 지식이 이용 가능하다고 가정하지 않습니다. 우리의 TTG 방법은 백본 특징과 키포인트 헤드가 생성한 특징을 결합하여 마스크 헤드에 전달하는 것을 포함합니다. 포괄적인 아블레이션 연구를 통해 두 가지 접근 방식을 평가하고 TTA 성능 개선을 제한하는 여러 요인을 확인합니다. 특히, 유의미한 도메인 시프트가 없는 경우 TTA는 성능 저하를 초래할 수 있고 TTG는 성능 개선이 미미함을 보여주며, 큰 도메인 시프트가 있는 경우 TTA 성능 개선은 사용된 계산법에 따라 작고 의존적이지만 TTG 성능 개선은 크고 구조 선택에 로버스트함을 입증하였습니다.