내시경 검사 중 폴립 크기 측정의 정확성은 암 위험 평가에 있어 핵심적이지만, 주관적인 평가 방법과 2차원 이미지 특성, 3차원 구조, 실제 크기 정보를 통합하지 못한 부족한 데이터셋으로 인해 여전히 제한을 받고 있다. 본 연구에서는 깊이 인식 기반 폴립 크기 측정을 전용으로 목표로 한 최초의 다중 소스 기준 데이터셋인 PolypSense3D를 제안한다. 이 데이터셋은 가상 시뮬레이션, 물리적 펌프, 임상 영상 시퀀스로부터 수집된 43,000개 이상의 프레임을 고유하게 통합하며, 동기화된 RGB 이미지, 밀도 높은/희소한 깊이 정보, 세그멘테이션 마스크, 카메라 파라미터, 그리고 새로운 핀셋 보조 생체 내(annotation) 기법을 통해 얻은 밀리미터 단위의 크기 레이블을 제공한다. 그 가치를 입증하기 위해 최신 세그멘테이션 및 깊이 추정 모델들을 기준으로 성능 평가를 수행하였다. 결과는 시뮬레이션/펌프 데이터와 임상 데이터 사이에 상당한 도메인 갭이 존재함을 정량적으로 보여주며, 인지 단계에서부터 최종 크기 추정에 이르기까지 오차가 중대하게 누적됨을 밝혀냈다. 최고의 완전 자동화 파이프라인은 임상 데이터 하위집합에서 평균 절대 오차(MAE) 0.95 mm를 달성하였다. PolypSense3D는 CC BY-SA 4.0 라이선스 하에 공개되며, 코드 및 평가 프로토콜도 함께 제공된다. 이 데이터셋은 정밀하고 임상적으로 유의미한 정량적 내시경 시각화 연구를 가속화할 수 있는 표준화된 플랫폼을 제공한다.