PSG は、細かく注釈が付けられた大規模なデータセットです。このデータ セットには、ココの 48,749 枚の画像が含まれており、セグメント化されたブロック間の関係に注釈を付けるためのココの既存のパノラマ セグメンテーション アノテーションに基づいています。このデータ セットには 133 のオブジェクト カテゴリが含まれており、そのうち 80 がオブジェクト、53 が物です。

著者は、位置関係（上、前など）、物体間の共通の関係（ぶら下がっているなど）、共通の生物学的動作（歩く、立つなど）、人間と人間の関係など、56種類の関係を丁寧に定義しています。行動（料理など）、交通シーンでの関係（運転、乗車など）、動作シーンでの関係（蹴りなど）、背景間の関係（囲みなど）。