視覚入力における空間関係（例：「テーブルの上にあるラップトップ」）の理解は、人間とロボットにとって重要です。既存のデータセットは、大規模で高品質な3D基準情報が不足しているため、空間関係を学習する上で十分ではありません。本論文では、このギャップを埋めるためにRel3Dを構築しました。これは、3Dでの空間関係の基準付けに初めて大規模かつ人間による注釈が付与されたデータセットです。Rel3Dにより、大規模な人間データにおいて3D情報が空間関係の予測にどれほど効果的であるかを定量的に評価することが可能になります。さらに、私たちは最小対照的なデータ収集 -- 現在のデータセットバイアスを軽減する新しいクラウドソーシング手法 -- を提案します。当該データセット内の3Dシーンは最小対照的なペアとして提供されます。つまり、ペア内の2つのシーンはほぼ同一ですが、一方では特定の空間関係が成立し、他方では成立しないという特徴があります。実証実験により、最小対照的な例が現在の関係検出モデルの問題点を診断し、サンプル効率的な学習につながることを確認しています。コードとデータはhttps://github.com/princeton-vl/Rel3D で公開されています。