Une estimation précise de la taille des polypes lors de la coloscopie est essentielle pour l’évaluation du risque de cancer, mais elle est freinée par des méthodes subjectives et par des jeux de données insuffisants, dépourvus d’informations intégrées sur l’apparence 2D, la structure 3D et les dimensions réelles. Nous introduisons PolypSense3D, le premier jeu de données de référence multi-sources spécifiquement conçu pour la mesure de la taille des polypes en tenant compte de la profondeur. Ce jeu de données intègre de manière unique plus de 43 000 images provenant de simulations virtuelles, de fantômes physiques et de séquences cliniques, offrant des données synchronisées en RGB, en profondeur dense ou épars, des masques de segmentation, des paramètres de caméra, ainsi que des étiquettes de taille au niveau du millimètre, obtenues grâce à une nouvelle technique d’annotation in vivo assistée par forceps. Pour évaluer sa valeur, nous benchmarkons des modèles d’état de l’art en segmentation et en estimation de profondeur. Les résultats mettent en évidence des écarts de domaine importants entre les données simulées ou issues de fantômes, d’une part, et les données cliniques, d’autre part, et révèlent une propagation significative des erreurs des étapes de perception jusqu’à l’estimation finale de la taille, les meilleures chaînes entièrement automatisées atteignant une erreur absolue moyenne (MAE) de 0,95 mm sur le sous-ensemble de données cliniques. Disponible publiquement sous licence CC BY-SA 4.0, accompagné de code source et de protocoles d’évaluation, PolypSense3D constitue une plateforme standardisée destinée à accélérer la recherche en vision endoscopique quantitative robuste et cliniquement pertinente.