内視鏡におけるポリープサイズの正確な評価は、がんリスクの評価において極めて重要であるが、主観的な評価手法や、2次元的な外観、3次元的な構造、実世界におけるサイズ情報を統合した不十分なデータセットの欠如により、その実現が困難である。本研究では、深度情報を考慮したポリープサイズ測定を目的として初めてのマルチソースベンチマークデータセット「PolypSense3D」を提案する。このデータセットは、仮想シミュレーション、物理マネキン、臨床画像系列から得られた43,000フレーム以上を独自に統合しており、同期されたRGB画像、高密度／低密度深度情報、セグメンテーションマスク、カメラパラメータ、および新開発のハサミ支援型生体内アノテーション技術により得られたミリメートル単位のサイズラベルを提供する。その有用性を検証するため、最先端のセグメンテーションおよび深度推定モデルをベンチマーク化した。その結果、シミュレーション／マネキンデータと臨床データとの間に顕著なドメインギャップが確認され、認識段階での誤差が最終的なサイズ推定に著しく伝搬する傾向が明らかになった。最良の完全自動化パイプラインでも、臨床データサブセットにおいて平均絶対誤差（MAE）が0.95 mmにまで改善された。PolypSense3DはCC BY-SA 4.0ライセンスで公開されており、コードおよび評価プロトコルも同時に提供されている。本データセットは、実臨床に即した定量的内視鏡ビジョン研究を加速するための標準化されたプラットフォームを提供する。