Rel3D : Un Benchmark Minimalement Contrastif pour l'Ancrage des Relations Spatiales en 3D

La compréhension des relations spatiales (par exemple, « ordinateur portable sur la table ») dans les données visuelles est importante pour les humains et les robots. Les ensembles de données existants sont insuffisants car ils manquent d'informations 3D de grande échelle et de haute qualité, essentielles pour l'apprentissage des relations spatiales. Dans cet article, nous comblons cette lacune en construisant Rel3D : le premier ensemble de données à grande échelle, annoté par des humains, pour l'ancrage des relations spatiales en 3D. Rel3D permet d'évaluer l'efficacité de l'information 3D dans la prédiction des relations spatiales sur des données humaines à grande échelle. De plus, nous proposons une méthode de collecte de données contrastées minimales -- une nouvelle approche de crowdsourcing pour réduire le biais des ensembles de données. Les scènes 3D de notre ensemble de données sont présentées sous forme de paires contrastées minimales : deux scènes d'une paire sont presque identiques, mais une relation spatiale est valide dans l'une et non dans l'autre. Nous validons empiriquement que les exemples contrastés minimaux peuvent diagnostiquer les problèmes des modèles actuels de détection de relations ainsi que conduire à un entraînement efficace en termes d'échantillons. Le code et les données sont disponibles à l'adresse suivante : https://github.com/princeton-vl/Rel3D.