Genauigkeit bei der Polypenabmessung während der Endoskopie ist entscheidend für die Beurteilung des Krebsrisikos, wird jedoch durch subjektive Methoden und unzureichende Datensätze behindert, die fehlende integrierte Information zu 2D-Aussehen, 3D-Struktur und realen Maßen enthalten. Wir stellen PolypSense3D vor, den ersten mehrquellenbasierten Benchmark-Datensatz, der speziell auf die tiefenbewusste Polypenabmessung abzielt. Er integriert einzigartigerweise über 43.000 Frames aus virtuellen Simulationen, physischen Phantombildern und klinischen Aufnahmen und liefert synchronisierte RGB-Daten, dichte bzw. spärliche Tiefeninformation, Segmentierungsmasken, Kameraparameter sowie Millimeter-genau abgeleitete Größenangaben, die mittels einer neuartigen, mit einer Zange assistierten In-vivo-Annotierungsmethode ermittelt wurden. Um den Nutzen des Datensatzes zu belegen, evaluieren wir state-of-the-art-Modelle für Segmentierung und Tiefenschätzung. Die Ergebnisse quantifizieren erhebliche Domänenunterschiede zwischen simulierten/phantom-basierten und klinischen Daten und offenbaren eine signifikante Fehlerfortpflanzung von den Wahrnehmungsstufen bis hin zur endgültigen Größenabschätzung; die besten vollautomatisierten Pipeline-Systeme erreichen auf der klinischen Datensubset eine durchschnittliche absolute Abweichung (Mean Absolute Error, MAE) von 0,95 mm. PolypSense3D wird unter der Lizenz CC BY-SA 4.0 öffentlich bereitgestellt, inklusive Quellcode und Evaluationsprotokollen, und bietet eine standardisierte Plattform zur Beschleunigung der Forschung in robusten, klinisch relevanten quantitativen endoskopischen Visionssystemen.