PSG est un ensemble de données à grande échelle avec des annotations fines. L'ensemble de données contient 48 749 images Coco et, sur la base des annotations de segmentation panoramique existantes de Coco, la relation entre les blocs segmentés est annotée. L'ensemble de données contient 133 catégories d'objets, dont 80 sont des objets et 53 sont des objets.

Les auteurs définissent soigneusement 56 types de relations, y compris les relations de position (au-dessus, devant, etc.), les relations d'objets communs (suspendu, etc.), les actions biologiques communes (marcher, se tenir debout, etc.), les comportements humains (cuisiner, etc.), les relations dans les scènes de circulation (conduire, rouler, etc.), les relations dans les scènes de sport (donner des coups de pied, etc.) et les relations entre les arrière-plans (enfermer, etc.).