초록
데이터 생성과 주석 생성뿐만 아니라, 벤치마크 데이터셋을 만드는 데 있어 합리적인 데이터 분할 전략과 평가 지표를 설계하는 것이 필수적입니다. 이러한 관행은 데이터 사용에 대한 합의, 동일한 평가, 그리고 데이터셋에서 연구 방법들의 균일한 비교를 보장합니다. 본 연구는 수술 활동을 <기구, 동사, 대상> 트리플로 형식화하는 50개 비디오 수술 데이터셋인 CholecT50에 초점을 맞추고 있습니다. 이 논문에서는 CholecT50과 CholecT45 데이터셋의 표준 분할 방식을 소개하고, 이를 기존의 데이터셋 사용 방법과 어떻게 비교되는지 보여줍니다. CholecT45는 CholecT50 데이터셋의 첫 번째 공개 버전으로 45개의 비디오를 포함합니다. 또한, 수술 트리플에 대한 모델 평가를 위한 메트릭스 라이브러리인 ivtmetrics를 개발하였습니다. 더불어, 가장 많이 사용되는 딥러닝 프레임워크(PyTorch와 TensorFlow)에서 기준선 방법들을 재현하여 제안된 데이터 분할 방식과 메트릭스를 사용해 평가하고 이를 공개적으로 배포하여 향후 연구를 지원합니다. 제안된 데이터 분할 방식과 평가 메트릭스는 전 세계적으로 데이터셋에 대한 연구 진척 상황을 추적하고 최적의 모델 선택을 용이하게 하여 추가 배포를 촉진할 것입니다.