L'ensemble de données Referlt3D convient aux tâches de mise à la terre visuelle 3D et de sous-titrage dense 3D, y compris 2 ensembles de données visio-linguistiques complémentaires à grande échelle :

1. Ensemble de données Sr3D : contient 83 500 phrases basées sur des modèles, qui utilisent des relations spatiales entre des classes d’objets à granularité fine pour localiser les objets référencés dans la scène ;
2. Ensemble de données Nr3D : comprend 41 500 phrases informelles naturelles collectées en jouant à un jeu à 2 joueurs dans une scène 3D.