Die York Urban Line Segment Database besteht aus 102 Bildern städtischer Umgebungen, davon 45 Innenaufnahmen und 57 Außenaufnahmen. Die Bilder zeigen hauptsächlich Szenen des Campus der York University und der Innenstadt von Toronto, Kanada, sind 640 x 480 Pixel groß und wurden mit einer kalibrierten Digitalkamera Panasonic Lumix DMC-LC80 aufgenommen.

Jedes Bild im Datensatz wurde manuell annotiert, um Sätze von Liniensegmenten zu identifizieren, die die „Manhattan-Annahme“ erfüllen (Coughlan & Yuille 2003). Die Manhattan-Annahme bezieht sich auf die Menge der Liniensegmente, die dem orthogonalen dreidimensionalen Rahmen der städtischen Umgebung entsprechen.