PSG ist ein umfangreicher Datensatz mit feinen Anmerkungen. Der Datensatz enthält 48.749 Coco-Bilder und basierend auf den vorhandenen Panorama-Segmentierungsanmerkungen von Coco wird die Beziehung zwischen den segmentierten Blöcken annotiert. Der Datensatz enthält 133 Objektkategorien, davon 80 Objekte und 53 Sachen.

Die Autoren definieren sorgfältig 56 Arten von Beziehungen, darunter Positionsbeziehungen (über, vor usw.), allgemeine Objektbeziehungen (hängen an usw.), allgemeine biologische Handlungen (draufgehen, darauf stehen usw.), menschliches Verhalten (Kochen usw.), Beziehungen in Verkehrsszenen (Autofahren, Reiten usw.), Beziehungen in Sportszenen (Treten usw.) und Beziehungen zwischen Hintergründen (Umschließen usw.).